Новое исследование, опубликованное на arXiv, поднимает важный вопрос об экономике токенов в корпоративном AI. Авторы вводят понятие “эффект уздечки” (harness effect), чтобы описать, как дизайн слоя оркестрации влияет на стоимость использования AI-моделей.
Ключевые проблемы
Сегодня разработка AI-агентов часто сводится к “максимизации токенов”: увеличение вычислительной мощности достигается за счет большего числа токенов, что ведет к росту затрат. Снижение стоимости токенов маскирует эту тенденцию, но общие расходы продолжают расти.
Что обнаружили исследователи
Исследование показало, что правильно спроектированный слой оркестрации, который управляет контекстом, инструментами и последовательностью задач, может значительно сократить расходы. При замене стандартного производственного цикла на специально разработанный “Writer Agent Harness” затраты на задачи снизились на 41%, время выполнения — на 44%, а количество токенов на задачу — на 38%, при этом качество выполнения осталось на прежнем уровне.
| Пункт | Деталь |
|---|---|
| Снижение затрат | На 41% (с $0.21 до $0.12 за задачу) |
| Уменьшение времени | На 44% (с 48 до 27 секунд) |
| Экономия токенов | На 38% (с 14.2k до 8.8k токенов на задачу) |
| Качество | Сопоставимое (с 0.78 до 0.81) |
| Влияние на модели | Эффект универсален для разных моделей, а прирост качества зависит от базовых возможностей модели. |
Важность оркестрации
Исследователи утверждают, что именно слой оркестрации является определяющим фактором в борьбе с чрезмерным потреблением токенов. Его эффективность распространяется на все используемые модели, независимо от их производительности.
Что дальше
Стоит изучить, как различные архитектуры оркестрации влияют на экономику AI-систем в реальных условиях. Оптимизация этого слоя может стать ключом к более эффективному и доступному использованию корпоративного AI.
Источник: arXiv cs.AI, https://arxiv.org/abs/2607.06906v1.
Верификация: https://www.anthropic.com/news.