Исследователи предложили измерять сложность задач для LLM по кривой «точность — токены»

Препринт предлагает оценивать сложность задач для LLM по зависимости точности от бюджета генерации, а не только по числу токенов.

Исследователи предложили измерять сложность задач для LLM по кривой «точность — токены». Тематическая карточка Comrad404.

Исследователи предложили оценивать сложность задач для языковых моделей не только по числу сгенерированных токенов, а по тому, как меняется точность при разных бюджетах генерации. Подход назван LLM Complexity. Препринт LLM Complexity: Towards a Computational Complexity View of Large Language Model Inference вышел на arXiv 20 ноября 2026 года; его первая версия датирована 19 октября.

Почему длины ответа недостаточно

Число токенов легко наблюдать, поэтому его можно использовать как приближённую характеристику вычислений во время вывода. Однако авторы препринта утверждают, что аналогия между длиной ответа LLM и классической временной сложностью не работает: токены не обязаны выстраивать задачи в том же порядке трудности, что и классическая теория вычислений.

Для оценки сложности это означает, что короткий ответ сам по себе не доказывает простоту задачи, а длинный — её трудность. Длина показывает объём конкретной генерации, но не описывает, насколько стабильно модель решает задачу при изменении доступного бюджета.

Как устроена LLM Complexity

Исследователи строят кривую, связывающую бюджет генерации в токенах с точностью модели, а затем оценивают площадь под этой кривой. Метрика поэтому учитывает серию ограничений на вывод, а не один ответ при одном установленном лимите.

По данным авторов, разные языковые модели дают согласованные ранжирования задач при использовании LLM Complexity. В самом препринте этот результат интерпретируется как признак устойчивого представления о трудности между моделями, но он относится к проведённым авторами экспериментам.

Что показали эксперименты и что это меняет

Авторы использовали полученное ранжирование для учебного плана supervised fine-tuning: модель обучали от более простых задач к более сложным. Исследователи сообщают, что в их экспериментах такой подход повысил точность и одновременно снизил расход токенов.

Практический вывод для сравнения моделей ограничен: вместо одного показателя длины ответа можно измерять точность при нескольких бюджетах генерации и смотреть на форму этой зависимости. Препринд не подтверждает универсальность метрики для любых моделей и задач и не устанавливает её превосходство над всеми другими методами оценки. Результаты о согласованности ранжирования и пользе учебного плана остаются выводами авторов работы, а не независимой проверкой.