MTGBench — бенчмарк, который сравнивает языковые модели в семи многоходовых играх на русском и английском. В посте канала «Эксплойт» его описывают как способ оценить выполнение заданий в несколько ходов и влияние рассуждений на результат.
Список игр в README проекта включает цепочку городов, Wordle, «20 вопросов», «Поле чудес», «Ситуационные загадки», «20 признаков» и Alias. Четыре игры оцениваются алгоритмически, для трёх используются ограниченные LLM-верификаторы. Проект сопоставляет ответ без объяснения, chain-of-thought и встроенное рассуждение.
Статью о бенчмарке опубликовали в Findings of EMNLP 2026 — об этом сообщает пост, ссылку на публикацию приводит README.
Авторы поста утверждают, что рассуждения заметнее помогали в заданиях с буквами и символами, а в задачах на знания и понимание смысла эффект был слабее и зависел от модели.
Таблицы с числами по этому сравнению нет ни в посте, ни в README, независимых проверок бенчмарка не приводится. Балл MTGBench описывает поведение модели в этих семи играх, но не является универсальной мерой «логики» или общей способности рассуждать.
