Компания Liquid AI представила модель LFM2.5-2.6B, которая позиционируется как двигатель для полностью локальных AI-агентов. При размере 2,6 миллиарда параметров она способна вызывать инструменты, выполнять многошаговые сценарии и работать на массовом железе — от ноутбуков до телефонов. Модель уже доступна на Hugging Face под лицензией для разработки.
Ключевые факты
| Характеристика | Значение |
|---|---|
| Размер | 2,6B параметров |
| Предобучение | ~34 триллиона токенов |
| Контекстное окно | 128K токенов |
| Пост-тренинг | Agentic RL (четырёхэтапный) |
| Поддержка инструментов | Да (tool calling, multi-step) |
| Скорость инференса | до 220 ток/с (M5 Max), 113 ток/с (Ryzen AI), 30 ток/с (телефон) |
| Доступность | Hugging Face, Llama.cpp, MLX, vLLM, SGLang, ONNX |
Что такое LFM2.5-2.6B
LFM2.5-2.6B — это компактная языковая модель, спроектированная для развёртывания агентов непосредственно на устройстве пользователя. По словам разработчиков, она позволяет сохранять приватность данных, избегать затрат на облачный инференс и масштабировать использование без привязки к инфраструктуре провайдера. Модель предобучена на примерно 34 триллионах токенов, а затем прошла промежуточную фазу расширения контекстного окна до 128 тысяч токенов.
Пост-тренинг: Agentic RL
Производительность на устройствах
Liquid AI сравнила LFM2.5-2.6B с моделями вплоть до четырёхкратного размера (до 9,7B параметров). По заявлению компании, новинка лидирует или конкурирует на равных в следующих областях:
- следование инструкциям — лучший результат среди всех сравниваемых моделей;
- использование инструментов — первое место на всех бенчмарках, кроме BFCLv4, где модель Qwen 9,7B оказывается немного впереди;
- агентские задачи — на уровне Qwen, опережает обе модели Gemma;
- знания — небольшое преимущество;
- математика — близкие результаты.
Единственная заметная уступка — кодинг: здесь более крупные модели сохраняют значительный отрыв. Разработчикам, для которых генерация кода критична, стоит рассмотреть более мощные варианты.
Модель демонстрирует высокую скорость инференса на различном оборудовании: 220 токенов в секунду на чипе M5 Max, 113 токенов на Ryzen AI Max+ 395 и около 30 токенов на телефоне — достаточный уровень для работы агента в реальном времени. На GPU (один H100) пропускная способность достигает почти 15 тысяч выходных токенов в секунду, что эквивалентно примерно 1,3 миллиарда токенов в день.
Интеграция и доступность
LFM2.5-2.6B поддерживается с первого дня в основных фреймворках инференса: llama.cpp (в том числе CPU), MLX для Apple Silicon, vLLM и SGLang для GPU, ONNX для кроссплатформенного развёртывания. На Hugging Face также опубликован браузерный демо-проект, в котором модель управляет исследовательским агентом: он отвечает на вопросы пользователя и генерирует сводку. Разработчики могут начать работу через transformers (версия >=5.0.0) — в документации приведён готовый код для загрузки и запуска.
Значение для разработчиков
Появление LFM2.5-2.6B сокращает разрыв между облачными агентами и локальным выполнением. Для русскоязычного сообщества, которое всё чаще обсуждает автономные агенты и приватность данных, модель даёт возможность тестировать и внедрять агентов без отправки данных на внешние серверы. Особый интерес представляет совместимость с широким спектром устройств — от серверов до смартфонов, что открывает путь для мобильных AI-ассистентов с инструментальными возможностями.
Источник: Hugging Face Blog, Liquid AI — “Deploy local agents everywhere with LFM2.5-2.6B” (https://huggingface.co/blog/LiquidAI/lfm2-5-2-6b)