Разработчики Cactus представили вторую версию своей платформы для запуска ИИ-моделей на устройствах. Основное нововведение — гибридный подход, сочетающий локальную обработку с облачным резервированием. Это решает проблему, когда локальные модели не справляются со всеми задачами, но облачные решения бывают избыточны.
Ключевые особенности Cactus v2
| Punkt | Detail |
|---|---|
| Гибридный подход | Встроенная система определения уверенности модели для автоматического переключения на облачные вычисления при необходимости. |
| Оптимизация для устройств | Минимальный объем оперативной памяти, GPU-ускорение (Metal) и поддержка любых ARM-устройств (iOS, Android, Mac, Raspberry Pi и др.). |
| Квантизация | Потеря 4-битная квантизация без деградации точности. |
| Конвертер моделей | Поддержка любых моделей PyTorch. |
Новая система облачного резервирования основана на “зондировании” весов модели, которое анализирует внутренние активации и генерирует сигнал уверенности. Это позволяет модели самой решать, какие задачи выполнять локально, а какие передавать в облако. На данный момент реализовано однопроходное резервирование для моделей класса Gemma-4 E2B с возможностью подключения к Gemini, Claude, OpenAI-совместимым или собственным конечным точкам.
Дальнейшие планы включают разработку гибридных нативных моделей для многоходовых агентных систем — это направление пока остается нерешенной проблемой в области ИИ.
Развертывание и лицензирование
Платформа Cactus распространяется как исходно-доступная: бесплатна для личного использования и малых компаний, с коммерческой лицензией для более крупных предприятий. Получить доступ к проекту можно через GitHub или с помощью команды `brew install cactus-compute/cactus/cactus`.
Обсуждение на Hacker News сосредоточено на практической применимости гибридных моделей и их потенциале для улучшения работы агентных систем. Пользователи отмечают, что такой подход может значительно повысить эффективность использования ресурсов и надежность приложений.
Источник: Hacker News, https://news.ycombinator.com/item?id=48864459
Проверка: https://openai.com/news/