Исследователи представили SpireBench — бенчмарк, в котором языковые модели проходят Slay the Spire целиком, а не решают отдельные короткие эпизоды. По результатам испытаний на максимальной сложности передовые модели обошли эвристические алгоритмы и показали уровень среднего игрока, но заметно уступили экспертам. Работа опубликована на arXiv.
Проверка решений на длинной дистанции
Slay the Spire — карточная игра, где выбор карт, улучшений и маршрута влияет на последующие бои. Поэтому раннее решение может помочь пройти забег или, наоборот, создать проблемы спустя несколько этапов. Авторы используют эту зависимость, чтобы изучать стратегическое поведение агентов в продолжительных задачах.
В отличие от тестов, состоящих из коротких независимых заданий, полный забег позволяет наблюдать, как модель справляется с последствиями собственных решений. Исследователи оценили 20 больших языковых моделей и сравнили их с эвристическими базовыми алгоритмами и игроками разного уровня. По описанию работы, созданная авторами среда предоставляет модели оригинальную игру целиком.
Где модели теряют преимущество
Разрыв с экспертами увеличивался по мере продвижения по игре. Сильнейшие модели выигрывали первый акт с сопоставимой с экспертами частотой, но затем начинали отставать. Авторы связывают различия между сильными и слабыми моделями прежде всего с качеством решений в боях.
Отдельная закономерность — неверная оценка риска на протяжении забега. Модели часто берегут здоровье, хотя иногда его разумно потратить, чтобы усилить колоду или получить преимущество в дальнейшем. Это наблюдение не означает, что осторожность всегда ошибочна: вывод относится к стратегиям в конкретной игре и исследованным условиям.
Знания о игре и память между попытками
Авторы также проверили, насколько результаты зависят от предварительного знакомства с Slay the Spire. Они систематически переименовали игровые термины, чтобы скрыть привычные названия. Такой тест помогает отделить способность рассуждать от опоры на уже усвоенные сведения об игре, хотя сам по себе не доказывает, что все различия в результатах вызваны только предшествующими знаниями.
Записи, которые модели сохраняли между попытками, не улучшали их игру. По аннотации, такие заметки часто оказывались ошибочными и чрезмерно осторожными. Это важный сигнал для разработчиков агентов с памятью: накопление заметок не гарантирует обучения, если система не проверяет их точность и полезность.
Что бенчмарк говорит об агентах
SpireBench предлагает не только итоговый показатель побед, но и среду для поиска слабых мест в длинных задачах: например, отличать проблемы с тактикой боя от ошибок в управлении ресурсами. Однако результаты одной игры не следует напрямую переносить на программирование, работу с инструментами или реальные бизнес-процессы. Бенчмарк показывает конкретный тип ограничений — в стратегической игре и при заданных правилах испытания, — а не универсальный рейтинг автономности моделей.
Источники:
— Статья SpireBench на arXiv
— arXiv
