SentencePiece

Как оценить качество токенизатора для русского языка перед файнтюнингом

Сравниваем tiktoken и SentencePiece на русском тексте с помощью трёх метрик: fertility, parity и нормализованного паритета. Показываем, как выбор токенизатора...