Тестирование ИИ-ассистентов для написания кода на огромной кодовой базе Databricks привлекло внимание сообщества. Результаты показывают, что для достижения максимальной эффективности в задачах кодирования необходимо сочетание различных ИИ-инструментов.
Ключевые выводы исследования
Анализ выявил, что для достижения оптимального соотношения качества и стоимости (принцип Парето) в задачах кодирования требуется использование моделей от OpenAI, Anthropic и открытых решений. Это означает, что на данный момент ни одна отдельная модель не может обеспечить наилучшие результаты самостоятельно.
| Пункт | Деталь |
|---|---|
| Эффективность открытых моделей | Открытые модели, включая GLM 5.2, продемонстрировали способность справляться с задачами высокой сложности. |
| Стоимость токенов | Цена за токен не является надежным показателем реальных затрат. Более крупные модели могут быть более эффективными по токенам и иметь более низкую общую стоимость. |
| Влияние окружения | Способ вызова модели (harness) существенно влияет на стоимость и качество. Простые окружения, такие как Pi, в ряде случаев показали лучшие результаты. |
Что это значит для разработчиков
Результаты исследования подчеркивают важность гибкого подхода к выбору инструментов. Разработчикам стоит экспериментировать с различными комбинациями ИИ-агентов и окружений, чтобы найти наиболее эффективные решения для своих задач. Стоит также учитывать, что стоимость использования ИИ не всегда прямо пропорциональна цене за токен.
Остается открытым вопрос о долгосрочной перспективе развития таких гибридных подходов и о том, как будет меняться ландшафт инструментов для кодинга с появлением новых моделей.
Источник: https://www.reddit.com/r/artificial/comments/1urpfg2/benchmarking_coding_agents_on_databricks/, https://openai.com/news/