GPT模型对输入文本是如何进行编码和分词的？

Question

Accepted Answer

考察点：考察对LLM输入预处理流程（tokenization）的理解。回答思路：明确LLM输入需要先分词成token 说明采用BPE等子词切分算法及其优点 能够解释token与字符、词的关系及对长度和成本的影响

考察说明