大模型如何处理文本输入并将其转化为可计算的形式？请说明分词与词向量化的基本过程，以及文档在向量数据库中的存储形式。

回答思路

1. 能说明文本经过分词或子词切分（tokenization）
2. 能解释token被映射为向量（embedding）的过程
3. 能说明文档在向量数据库中以向量及元数据形式存储
4. 能说明检索时通过向量相似度匹配