请实现一个Tokenizer，要求能正确切分输入文本。

字节跳动百度人工智能互联网/IT专业服务编码实现问题拆解技术原理

考察说明

考察对文本切分逻辑、边界处理和数据结构的掌握