Что произошло
Cactus Compute выпустила вторую версию модели Needle — агентной LLM для tool calling, device use и структурированного извлечения. Модель представляет собой один бинарник на 14 МБ, работает на 45 млн параметров при 2-битном сжатии и укладывается в 28 МБ RAM на сессию. Анонс опубликован на Hacker News в формате Show HN, код и пакет для дообучения выложены на GitHub.
Почему это обсуждают
Авторы позиционируют Needle как альтернативу тяжёлым edge-моделям. На бенчмарках Mobile-Actions и tool call модель, по их данным, конкурирует с LFM2.5 230M и Apple Foundation Model, будучи в 5–70 раз меньше. Заявленные скорости: около 500 токенов/с на Raspberry Pi 5, 400–1500 токенов/с на Meta Quest 3S и Apple Vision Pro, 300–700 токенов/с на смартфонах до $200. Отдельная особенность — встроенная оценка уверенности: если запрос выходит за пределы компетенции, модель возвращает пустой вызов и предлагает эскалацию в облако или к более крупной модели.
| Punkt | Detail |
|---|---|
| Модель | 45M параметров, 2-bit, один файл 14 МБ |
| Память | 28 МБ RAM на сессию |
| Скорость | 500 ток/с decode на Pi 5, 300–700 на бюджетных телефонах |
| Бенчмарки | Mobile-Actions, конкуренция с LFM2.5 230M и Apple FM |
| Дообучение | Python-пакет, минуты–часы на Mac/PC |
| Архитектура | Simple Attention Networks, arXiv 2607.18363 |
Что подтверждено и что осталось проверить
Подтверждена публикация: страница проекта, репозиторий и техническое описание доступны. Заявленные цифры производительности и результаты бенчмарков основаны на данных авторов — независимых замеров на сторонних устройствах и воспроизводимых тестов в открытых источниках пока нет. Также неясно, насколько стабильно 2-битное сжатие ведёт себя на реальных сценариях «всегда включённого ассистента» за пределами демонстрационных задач.
На что смотреть дальше
Стоит следить за обсуждением в ветке Hacker News, где авторы отвечают на вопросы, и за обновлениями репозитория. Практическая проверка: запуск собранного бинарника на Raspberry Pi 5 или бюджетном Android-устройстве с собственным набором инструментов.
Оригинальный пост: cactuscompute.com/needle. Код и документация: github.com/cactus-compute/needle. Дополнительный контекст для проверки: github.blog.