В материале, опубликованном Latent Space 9 ноября 2026 года, команда Handshake AI разобрала три примера ошибок ИИ-агентов: неверное применение правила в финансовом расчёте, лишний вариант при выборе научных изображений и действия с файлами, которые нельзя оценить по одному финальному ответу. Для компаний, проверяющих агентов, практический вывод — сопоставлять ответ с тем, какие данные и инструменты агент использовал. Источник: Latent Space.
Три сценария из демонстраций Handshake AI
В выпуске Latent Space рассмотрены финансовая задача, бенчмарк VIALS для научных изображений и симулированный сценарий доступа к файлам. Примеры описаны участниками беседы и изданием; это не независимый тест редакции.
В финансовой задаче правило применили не к той операции
Агенту нужно найти задание в банковской почте, определить, какие файлы относятся к сделке, и подготовить рабочую книгу. По описанию Latent Space, ошибка касается строки письма клиента о ранее существовавшей деловой репутации — goodwill: агент переносит число в Python и вычитает его.
В беседе отмечают, что модель может объяснить налоговый режим при прямом вопросе, но ошибается, когда должна применить правило к конкретной строке кода внутри более сложной задачи. Поэтому проверка отдельного объяснения не заменяет проверки расчёта и изменений в рабочей книге.
В ответе по изображениям появился лишний вариант
В показанном примере VIALS девять изображений ткани опухоли мозга нужно оценить по выраженности некроза сосудов и выбрать два. По описанию Latent Space, эксперт указывает H и I, а модель называет эти два изображения и добавляет G. Это пример не полного промаха, а нарушения условия о числе ответов.
Файловые действия не видны в итоговом ответе
В симулированной задаче команда Handshake AI может проследить, какие файлы прочитал агент, проверял ли копии и что делал с историей оболочки. Как отмечает Latent Space, транскрипт финального ответа не показывает значительную часть поведения, которое оценивают в этом сценарии.
Что учитывать при проверке агента
Эти примеры указывают на разные критерии оценки: в финансовой задаче — соответствие чисел и операций условиям; в анализе изображений — точное соблюдение количества и формата ответа; в работе с файлами — проверка действий и использованных данных. Один убедительно звучащий финальный текст не подтверждает, что агент выполнил весь процесс правильно.
Описанные случаи — иллюстрации из материала Latent Space, а не измерение частоты ошибок или сравнение качества всех ИИ-агентов. Они показывают, какие этапы можно проверять в конкретных задачах, но не позволяют обобщить результат на другие модели и условия.
