Архитектурные особенности и параметры Hy4 Preview
Китайская компания Tencent выпустила Hy4 Preview — новую текстовую языковую модель с открытыми весами, которая не имеет встроенных возможностей работы с визуальными данными. Релиз продолжает развитие линейки больших языковых моделей компании и демонстрирует значительный рост масштаба по сравнению с предыдущей версией Hy3, вышедшей в июле. Общий объем параметров модели составляет 770 миллиардов, при этом на один токен генерации приходится 49 миллиардов активных параметров. Модель поддерживает контекстное окно до 1 миллиона токенов, а размер файлов весов на платформе Hugging Face достигает 1,56 терабайта. Для сравнения, предшествующая модель Hy3 имела 295 миллиардов общих параметров, 21 миллиард активных параметров, контекст в 256 000 токенов и занимала 598 гигабайт.
Анализ шаблона чата и уровней рассуждений
Исследователи обратили внимание на конфигурационные файлы модели, в частности на шаблон чата chat_template.jinja на Hugging Face. В коде шаблона обнаружена проверка параметра reasoning_effort, которая ограничивает допустимые значения двумя режимами: high по умолчанию и no_think для отключения внутреннего логического вывода. Если разработчик или пользователь передает иное значение или ошибочно оставляет поле пустым, модель вызывает исключение с ошибкой. Это подтверждает наличие встроенного механизма рассуждений у Hy4 Preview, аналогичного подходу современных рассуждающих моделей, где пользователь может явно управлять глубиной логической цепочки перед генерацией ответа.
Тестирование логических цепей и особенностей генерации
Практическое тестирование модели через сторонние агрегаторы API, такие как OpenRouter, позволило изучить внутренние скрытые рассуждения модели при выполнении нестандартных запросов. В качестве тестового задания использовался классический промпт на генерацию SVG-изображения пеликана, едущего на велосипеде. Анализ текстового следа рассуждений показал, что модель ведет внутренний монолог на английском языке, рассматривая различные детали вроде добавления защитного шлема, очков или элементов окружающей среды, а затем самостоятельно отклоняет их. Характерной особенностью таких скрытых треков является слегка усеченная или неформальная грамматика, что объясняется отсутствием необходимости соблюдать строгие языковые нормы при генерации токенов, предназначенных исключительно для внутреннего использования моделью.
Ключевые факты
| Показатель | Значение для Hy3 | Значение для Hy4 Preview |
|---|---|---|
| Общие параметры | 295 млрд | 770 млрд |
| Активные параметры | 21 млрд | 49 млрд |
| Контекстное окно | 256 000 токенов | 1 000 000 токенов |
| Размер на Hugging Face | 598 ГБ | 1,56 ТБ |
Практические выводы для разработчиков и инженеров
Появление Hy4 Preview расширяет выбор доступных тяжелых моделей с открытыми весами для исследователей и инфраструктурных инженеров, работающих с локальным развертыванием или облачными API-интерфейсами. Наличие настраиваемых уровней reasoning_effort дает возможность балансировать между скоростью генерации и глубиной логической проработки сложных инженерных или творческих задач. Перед внедрением модели в производственные контуры специалистам рекомендуется учитывать колоссальный объем весов в 1,56 терабайта, требующий серьезных вычислительных мощностей, а также отсутствие встроенной поддержки мультимодального ввода изображений.