用友面试题更新 2026-08-05
Tokenizer的作用是什么？为什么BERT要用专门的tokenizer？
用友人工智能专业服务问题拆解技术原理BERT
考察说明
考察对NLP文本预处理原理和BERT子词分词必要性的理解
回答思路
- 准确说明tokenizer将文本转为模型可处理的token序列并维护词表
- 解释BERT采用WordPiece子词切分的原因，如处理未登录词、控制词表大小
- 对比传统词级切分的局限，说明子词对语义和形态处理的好处
- 能说明特殊token（如[CLS]、[SEP]）的作用
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
