http://www.ltr-data.se [email protected] / Screenshot von PantheraLeo135953 | wikimedia_commons | WTFPL
Новый взгляд на то, как оценивать полезность ИИ-агентов в долгосрочной перспективе, предложен в препринте arXiv:2609.10724. Авторы утверждают: одного лишь успешного выполнения задачи недостаточно.
Проблема: устойчивость и деликатность
Главная идея работы — ввести две метрики, которые обычно остаются за рамками тестирования:
— Операционная устойчивость (operational resilience) — способность агента восстанавливаться после сбоев, сохранять прогресс и сообщать о своих ограничениях.
— Деликатное участие (considerate participation) — умение адаптироваться с учетом интересов других людей, соблюдения ролевых границ и общего контекста рабочего процесса.
Эксперимент: 120 сценариев в здравоохранении
Исследователи смоделировали 120 траекторий работы двух генеративных ИИ-моделей над 12 задачами, взятыми из реальной практики здравоохранения. Нагрузка варьировалась от легкой до тяжелой — накапливались технические, человеческие и операционные проблемы.
Ключевые результаты
— При нарастании нагрузки агенты переходили от самостоятельного восстановления к зависимости от человека. При этом в структурированных отчетах они фиксировали рост нагрузки и негативных эмоций, но в текстовых ответах почти никогда не жаловались.
— В аспекте деликатного участия агенты расширяли фокус: от простого выполнения задачи к переформулированию задачи, вниманию к другим, корректировке ролевых границ и более широкой координации.
Пять дилемм развертывания
На основе полученных данных авторы выделили пять дилемм, требующих согласования с заинтересованными сторонами:
1. Упорство vs. своевременный отказ.
2. Внимание к задаче vs. внимание к контексту.
3. Соблюдение ролевых границ vs. их гибкое изменение.
4. Раскрытие своего состояния vs. сохранение видимости.
5. Эскалация проблем vs. самостоятельное решение.
Практические выводы
Работа показывает, что текущие методы оценки ИИ-агентов недостаточны для реального развертывания. Необходимы новые подходы к обучению, ситуативной оценке и воплощенной адаптации. Особенно это важно в чувствительных областях, таких как здравоохранение, где последствия ошибок высоки.
Ограничения
Исследование проведено на симуляциях, а не в реальных клинических условиях. Результаты могут отличаться при использовании других моделей и в других доменах.
Источники
— Препринт arXiv:2609.10724: https://arxiv.org/abs/2609.10724
— arXiv cs.AI, 12 сентября 2026 года.