科大讯飞面试题更新 2026-08-05
介绍分词器的类型与训练方式,包括按子词、字符划分的类别以及 BPE、BBPE、SentencePiece 等方法。
科大讯飞人工智能专业服务问题拆解技术原理技术选型
考察说明
考察对 NLP 分词技术原理、算法细节及工程实现的理解
回答思路
- 清晰区分词级、子词级和字符级分词
- 准确解释 BPE 的合并算法及词表构建
- 说明 BBPE 与 BPE 的差异(基于字节)
- 覆盖 SentencePiece 的训练方式与特点
- 能讨论不同分词器适用的场景和权衡
本题附完整参考答案与评分标准
登录后可查看结构化答题指导;也可以直接开一场模拟面试,AI 面试官用本题实时追问并给出评分。