18 октября 2026 года The Decoder опубликовал пересказ исследования Microsoft и City University of Hong Kong о Taste-Bench — тесте стратегических решений ИИ-агентов в длительных задачах. Лидеры набрали менее 60% на вопросах о выборе пути. Это отдельная оценка промежуточных решений: она не показывает, какую долю задач модели способны выполнить целиком.
Что измеряет Taste-Bench
В длительной задаче последствия выбора могут проявиться не сразу: неудачный ход сначала выглядит разумным, а его цена становится заметна позднее. Taste-Bench предназначен для оценки качества таких промежуточных решений, а не только того, завершил ли агент задачу. Авторы исследования называют способность выбирать перспективный путь «вкусом».
Как устроен тест с развилками
По описанию The Decoder, бенчмарк включает 502 вопроса. Каждый содержит исходную задачу, траекторию работы агента до точки выбора и два возможных продолжения. Модель должна определить, какое направление оказалось лучше.
Вопросы составили, в частности, на основе двух независимых попыток решить одну задачу с разными путями и случаев, когда агент исправлял своё решение. Варианты предъявляли в обычном и обратном порядке; ответ засчитывали только при правильном выборе в обоих случаях. По публикации, при таком правиле случайное угадывание соответствовало бы 25%.
Лидеры набрали менее 60%
В результатах, приведённых The Decoder, GPT-5.6 Sol получила 59,7%, а GPT-5.5 — 59,5%. Издание сообщает, что в исследовании участвовали 14 моделей, остальные заметно уступили лидерам. Эти проценты относятся к вопросам Taste-Bench с правилом двойного предъявления вариантов, а не к доле полностью решённых задач.
Поздние последствия труднее оценить
По пересказу исследования, средняя точность моделей составляла 62,3%, когда ключевая подсказка уже была видна в предыдущих шагах. Если она появлялась лишь после значительной дальнейшей работы, средняя точность в этой тестовой группе снижалась до 21% — уровня, который авторы материала описывают как близкий к случайному выбору.
В отдельной проверке двух моделей увеличение времени на рассуждение почти не улучшило результат. Это говорит о трудности предсказать последствия, которые проявляются позднее, но само по себе не устанавливает, как агенты справляются со всеми видами планирования.
Эксперимент на SWE-bench Pro
Исследователи обучали модель Qwen3.6-27B оценивать решения в точках выбора. Согласно The Decoder, точность этой модели на таких оценках выросла с 30% до 47,9%. Затем её советы добавили в контекст отдельного агента, решавшего задачи программирования.
На 41 отложенной задаче SWE-bench Pro доля успешных решений выросла с 14,6% до 33,7%. Авторы приводят 39% как результат, которого можно было бы достичь при безошибочных советах. Это результат конкретного эксперимента на 41 задаче, а не гарантия такого же прироста на других наборах или в реальных проектах.
Что показывают результаты
Taste-Bench отдельно оценивает выбор направления в промежуточных точках задачи. Результаты показывают, что в описанном тесте моделям было сложнее выбирать путь, когда нужные свидетельства появлялись только после дальнейшей работы. Эксперимент на SWE-bench Pro сообщает о росте успешности при использовании советов модели-оценщика.
Все приведённые числа переданы The Decoder со ссылкой на исследование авторов из Microsoft и City University of Hong Kong; независимой проверки результатов и прямой ссылки на первичную статью или набор данных в публикации нет. Поэтому показатели следует считать результатами, сообщёнными авторами, а не независимым подтверждением метода.
