Агентам предлагают оценивать следующий вызов инструмента до его выполнения

В arXiv описали CITA — подход, который учит модель сравнивать возможные вызовы инструментов по их вероятной пользе для конечной задачи. Авторы сообщают об улучшениях на трёх бенчмарках, но не приводят в аннотации численных результатов.

Схема выбора следующего вызова инструмента ИИ-агентом
Схема выбора следующего вызова инструмента ИИ-агентом
Visit of Ursula von der Leyen, President of the European Commission, to India (P-065755-00-36).jpg | by Europäische Kommission — Audiovisueller Dienst, CE — Service audiovisuel, EC — Audiovisual Service, Dati Bendo | wikimedia_commons | CC BY 4.0

Исследователи представили CITA — метод обучения LLM-агентов, который оценивает возможные вызовы инструментов до их выполнения. В статье на arXiv авторы сообщают, что подход улучшил Tool F1 и успешность выполнения задач на трёх бенчмарках и с несколькими базовыми языковыми моделями.

Работа посвящена проблеме длинных цепочек действий. Каждый вызов инструмента меняет состояние задачи и влияет на дальнейшие решения, а оценка только по финальному результату плохо показывает, какой именно шаг помог или помешал. При этом надёжная пошаговая оценка может требовать участия людей, суждений другой языковой модели или дополнительных запусков агента.

Сравнение до действия

Авторы предлагают оценивать не только уже выбранный шаг, но и его альтернативы в том же контексте. Например, агенту нужно решить, какой инструмент вызвать следующим; модель должна оценить, какой вариант вероятнее поддержит достижение конечной цели.

Здесь есть ограничение данных: обычные журналы взаимодействий показывают только фактически выполненный вызов. Они не сообщают, что произошло бы при выборе другого инструмента. CITA (Comparative Inference for Tool-use Agents) предназначен для обучения на сравнительных сигналах, чтобы восполнить этот пробел.

Откуда берётся оценка

В состав подхода входит Comparative Inference Model (CIM) — модель, оценивающая вероятную пользу возможного вызова в текущем контексте. По описанию авторов, обучение объединяет три источника: наблюдаемое поведение инструментов, масштабируемую супервизию от байесовского симулятора графа инструментов и семантические сравнения, полученные с помощью LLM.

Иными словами, система учится сопоставлять альтернативы, а не просто повторять шаг из записанной траектории. Авторы также сообщают, что CIM формирует точные оценки ценности отдельных шагов при сравнении вариантов. Однако в доступной аннотации нет численных метрик, описания конкретных бенчмарков и подробностей о стоимости обучения — поэтому оценить масштаб улучшения по ней нельзя.

Что это меняет для разработчиков

Практический смысл — попытка добавить агенту оценку следующего шага до того, как тот изменит состояние задачи вызовом инструмента. Такой механизм может быть полезен там, где последовательность действий длинная, а ошибка на раннем этапе осложняет последующие шаги. Но это не подтверждает, что CITA уже готов к внедрению в реальные системы или одинаково хорошо работает с произвольными инструментами: результат зависит от данных, симулятора и задач, на которых модель обучали и проверяли.

Пока вывод ограничен исследованием: авторы заявляют улучшения на трёх тестовых наборах и нескольких базовых LLM. Для практической оценки нужны полная статья, численные результаты и проверка на конкретном наборе инструментов и сценариев.

Источники