Tokenizers v1 性能基准：编码、解码与扩展性实测

文章标题显示其关注 tokenizers v1 版本的性能表现，对文本编码（encode）、解码（decode）以及扩展性（scaling）进行了实际测量与基准评估。由于原始输入仅包含标题且未提供详细摘要正文，具体测试环境、对比基准、量化性能提升数据及核心结论等细节信息不足，建议查阅原文获取详细基准测试报告。

原标题：tokenizers v1: encode, decode and scaling, measured