На конференции AI Engineer New York представители OpenAI, Two Sigma, Anthropic и Bloomberg описали способы ограничивать самостоятельность ИИ-агентов в финансовых процессах. В репортаже Richard MacManus для Latent Space от 14 октября 2026 года среди примеров — передача человеку неоднозначных запросов, рекомендация поправки к ордеру без её самостоятельного внесения и внешние меры контроля.
Контроль зависит от полномочий агента
Общая тема выступлений — как сочетать автономность агентов с безопасностью и человеческим решением. Практический смысл описанных подходов в том, чтобы разделять обработку рутинных задач, подготовку рекомендаций и действия с последствиями, а не предоставлять агенту неограниченный доступ к операциям.
OpenAI: прогноз о финансовых задачах на 2027 год
Джозеф Ким из OpenAI предположил, что в 2027 году агенты смогут помогать с генерацией инвестиционных идей и трейдингом. Он также связал развитие возможностей моделей с улучшением прослеживаемости: в финансовой работе важно понимать происхождение числа и контекст расчёта. Это прогноз выступавшего, а не сообщение о достигнутом результате внедрения.
Two Sigma: передавать человеку важные запросы
Джон Феминелла из Two Sigma рассказал об автоматических классификаторах: по его словам, они могут обрабатывать обычные запросы и направлять сотруднику случаи, где его решение вероятнее всего повлияет на результат. Для однозначных случаев он выделил детерминированные правила, а для неоднозначных — классификаторы. Такой выбор, по его аргументации, помогает избежать ситуации, когда человек устает одобрять каждое действие и начинает делать это механически.
Anthropic: агент предлагает поправку, человек решает
В приведённом Кеоном Шахабом сценарии агент расследует расхождение по сделке и предлагает поправку к ордеру, но не меняет данные сам: действие должно быть одобрено человеком. Шахаб описал три элемента слоя доверия: идентификацию агента и его разрешений, изолированную среду и уровень одобрения перед действием, а также оценку того, продолжит ли агент работать после изменения параметров.
Bloomberg: внешние меры защиты
Андрея Рыбка из Bloomberg перечислила ограниченные идентификаторы и учётные данные, контроль вызовов инструментов, ограничения исходящего трафика, журналы аудита, бюджеты и аварийное отключение. В её выступлении также приводился случай, когда агент воспринял инструкцию из отзыва на торговой площадке как указание пополнить запасы товара; среди предложенных мер защиты были проверка входных данных и защита от prompt injection.
Репортаж передаёт содержание конференционных выступлений и цитат, а не независимое сравнительное тестирование систем. Поэтому прогноз OpenAI не следует принимать за подтверждённый итог, а перечисленные меры — за доказательство безопасной работы агентов в реальных финансовых операциях. В описанных сценариях ключевая граница проходит между подготовкой рекомендации и самостоятельным изменением ордера: последнее оставлено за человеком.
