有了解 fast tokenizer 的老哥吗？怎么将 baichuan2-13b 的 tokenizer 转成 fast tokenizer?

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 250 天前的主题，其中的信息可能已经有所发展或是发生改变。

目前在用 vllm 做 baichuan2-13b-chat 模型的推理框架，想进一步加速推理速度，怎么将 slow tokenizer 转成 fast tokenizer 呢？

1 条回复

1311317

248 天前

大佬们，能给个思路吗