Hugging Face выпустила tokenizers v1: токенизация стала в десятки раз быстрее
Новая версия библиотеки tokenizers от Hugging Face обещает ускорение до десятков раз за счёт SIMD-инструкций, кэширования повторяющихся токенов и отказа от общего regex-движка. Разбираем, что изменилось и почему это важно для пайплайнов вывода.
Открыть материал →