Simon Willison выпустил версию 0.4 утилиты ttok — командной строки для подсчёта токенов с использованием библиотеки tiktoken от OpenAI. По описанию автора, проект не обновлялся пару лет. В новом выпуске исправлено предупреждение, связанное с Click, обновлена конфигурация CI и добавлена команда —list-models.
Обновление пригодится разработчикам, которым нужно быстро оценить объём текста в токенах при работе с поддерживаемыми tiktoken моделями. Запустить утилиту можно через uvx, передав ей текст через стандартный ввод: например, cat file.txt | uvx ttok. Подробности релиза опубликованы в заметке Willison: https://simonwillison.net/2026/Oct/8/ttok/
В ttok появилась команда —list-models
Нововведение в версии 0.4 — параметр —list-models, который, согласно сообщению автора, выводит доступные модели. Это даёт пользователю возможность проверить список из самого инструмента, а не полагаться на память о названиях.
При этом описание релиза не уточняет, как именно формируется список и какие модели в него входят. Поэтому не стоит трактовать эту команду как перечень всех существующих языковых моделей или гарантию поддержки моделей сторонних разработчиков. ttok использует tiktoken, библиотеку, ориентированную на кодировки моделей OpenAI. Её описание и исходный код доступны в репозитории проекта: https://github.com/openai/tiktoken
Для разработчика практический смысл прост: перед подсчётом можно проверить, какие варианты предлагает установленная версия инструмента. Если нужной модели в списке нет, сам факт наличия ttok не означает, что он способен точно оценить её токенизацию.
Исправлено предупреждение Click, обновлён CI
В релизе также исправлено предупреждение Click — библиотеки Python для создания интерфейсов командной строки. Willison не приводит в заметке подробностей о причине предупреждения или конкретных изменениях кода. Подтверждённый результат ограничивается тем, что автор сообщает об исправлении.
Кроме того, обновлена конфигурация CI — автоматизированных проверок проекта. Это техническое изменение в процессе разработки; в опубликованном сообщении нет сведений о новых функциях тестирования, поддерживаемых версиях Python или результатах независимой проверки. Документация Click описывает библиотеку и её назначение: https://click.palletsprojects.com/
Таким образом, релиз не следует представлять как крупное расширение возможностей токенизации. Из перечисленных изменений непосредственно к пользовательскому интерфейсу относится новая команда; остальные касаются предупреждения и инфраструктуры проекта.
Запуск через uvx
Willison показывает запуск через конвейер оболочки:
cat file.txt | uvx ttok
В этом примере содержимое файла передаётся утилите через стандартный ввод. По словам автора, ttok можно запускать с помощью uvx — инструмента из экосистемы uv для запуска Python-пакетов. Описание uvx и способов запуска пакетов приведено в документации uv: https://docs.astral.sh/uv/guides/tools/
Такой способ удобен для разового подсчёта, но перед использованием в автоматизированной задаче стоит проверить поведение команды на собственном тексте и убедиться, что выбранная модель поддерживается. Заметка о релизе не приводит примеров формата результата, параметров выбора модели или сравнения точности с другими инструментами. Поэтому эти детали нельзя считать подтверждёнными только на основании объявления.
Важно также различать подсчёт токенов и оценку стоимости запроса. Число токенов может быть одним из входных параметров расчёта, но само по себе не сообщает цену: она зависит от модели и условий её использования. В релизном сообщении Willison обсуждает именно утилиту для подсчёта, а не калькулятор стоимости API.
Что проверить перед использованием
Пользователю, которому нужен быстрый подсчёт текста, достаточно начать с команды из примера автора и посмотреть доступные модели через —list-models. Если результат предназначен для скрипта или производственного процесса, следует отдельно проверить кодировку целевой модели и то, как установленная версия обрабатывает входные данные.
Пока опубликованное описание не раскрывает подробностей реализации новой команды и изменений CI. Поэтому наиболее точное прочтение ttok 0.4 — небольшое обновление существующего инструмента: добавлен список доступных моделей, исправлено предупреждение Click и обновлены автоматизированные проверки.
