请手写一个简单的tokenizer（分词器）实现。

回答思路

1. 能给出清晰的词法规则定义（如按空格、标点或正则切分）
2. 实现基础的词表维护或字符扫描逻辑
3. 考虑边界情况（如连续分隔符、空输入、特殊字符）
4. 代码结构清晰，可读性和健壮性兼顾