Для классификации узлов в текстовых графах дорогой LLM-подход не следует выбирать только по опубликованному лидерству: сначала имеет смысл сравнить его с дешёвым базовым методом на одинаковом разбиении. В препринте авторы сообщают, что Correct & Smooth на TF-IDF отставал от опубликованного ориентира LLM-метода на медианные 2,3 процентного пункта, а MLP на замороженных эмбеддингах e5-large-v2 — на 2,8 пункта. Но на части задач преимущество ориентира оставалось статистически значимым. Поэтому решение зависит от результата на нужных данных, цены ошибки и сопоставимости протокола.
Что сравнивали авторы препринта
Авторы сопоставили четыре представителя недорогих базовых методов с наивысшим средним результатом LLM-метода, который соответствующая публикация сообщала для совпадающей настройки. Анализ охватил 24 пары «набор данных — протокол» на разбиениях из трёх исследований; параметры базовых методов выбирали только по валидационным данным. Это не единый независимый турнир: LLM-ориентир взят из опубликованных работ, а сравнение ограничено восстановленными разбиениями и доступными настройками. Результаты ниже — выводы авторов препринта, а не независимое воспроизведение редакции.
Доступные численные итоги позволяют сопоставить медианные разрывы двух базовых представителей и общий счёт по Correct & Smooth. Они не дают полного набора результатов по каждому из четырёх методов и каждой задаче. Поэтому таблица не ранжирует все четыре семейства: она показывает только значения, явно приведённые авторами.
| Подход или показатель | Результат в анализе авторов | Практический смысл |
|---|---|---|
| Correct & Smooth на TF-IDF | Медианное отставание — 2,3 процентного пункта; не более чем на 3 пункта ниже ориентира либо выше него в 15 из 24 задач | Разрыв был небольшим во многих задачах, но это не означает равенства на всех задачах |
| MLP на замороженных e5-large-v2 | Медианное отставание — 2,8 процентного пункта | В доступном изложении приведён медианный разрыв, но не аналогичный счёт по задачам |
| Опубликованный LLM-ориентир против Correct & Smooth | Статистически значимо выше в 12 из 22 задач, где проверку удалось провести | На части задач преимущество сохранилось; это не универсальный результат для всех LLM-методов |
Числа в этой таблице выражены в процентных пунктах точности, а «15 из 24» и «12 из 22» — количество задач, не доля узлов и не проценты точности. В 15 из 24 задач Correct & Smooth был не более чем на три пункта хуже ориентира или превосходил его. Значимость удалось проверить для 22 задач; в 12 из них ориентир оказался статистически значимо выше. Эти итоги описывают разные свойства сравнения и не сводятся к одному победителю.
Когда достаточно начать с недорогого метода
Если нужен первичный ориентир или бюджет ограничен, разумно включить в эксперимент недорогой метод на тех же данных и разбиении. Результаты авторов дают основание проверить Correct & Smooth: в 15 из 24 задач он отставал не более чем на три пункта либо превосходил опубликованный ориентир. Это не гарантия для нового набора данных и не доказательство, что дешёвый метод будет достаточен для любой задачи.
Сравнивать нужно не только среднюю или медианную разницу. Небольшой типичный разрыв может скрывать заметное преимущество LLM-подхода на конкретном наборе данных. Если несколько пунктов меняют вывод исследования или приводят к неприемлемой цене ошибки, следует проверить более сложный вариант на тех же условиях и заранее определить критерий, при котором его выигрыш оправдывает дополнительные вычисления и настройку.
Почему опубликованные результаты могут быть несопоставимы
Авторы препринта сообщают, что результаты одного и того же метода на одном разбиении различались между публикациями до 12,5 процентного пункта, если конфигурации не были документированы как совпадающие. Это максимальное отмеченное расхождение в таких сопоставлениях, а не оценка типичной ошибки метода. Авторы также указывают, что для KCoT не нашли оценки вариативности, поэтому не смогли статистически проверить его отрыв.
При чтении опубликованного кода авторы описывают риски: подбор гиперпараметров или контрольных точек по тестовой выборке, использование меток узлов из тестового пула при обучении, повторное использование базовых результатов без раскрытия и несоответствие текстов узлов меткам в загрузчике Cora. Они не всегда могли установить, повлияли ли проблемы в коде на опубликованные таблицы. Эти наблюдения — причина внимательно сверять протокол, но сами по себе они не доказывают, что конкретное опубликованное число неверно.
В собственном сравнении зафиксируйте одинаковые разбиение, доступные обучающие метки, правила выбора гиперпараметров и способ подсчёта качества. Тестовую выборку оставьте для итоговой оценки, а не для настройки. Иначе измеренная разница может отражать различия протокола, а не качество методов. Препринт указывает на этот риск, но не заменяет эксперимент на данных конкретной задачи.
Как выбрать вариант под задачу
Для первичной оценки и ограниченного бюджета начните с недорогого базового метода: в рассмотренных авторами настройках он часто был близок к опубликованному ориентиру. Если ошибка дорого обходится или базовый метод не достигает заранее заданного порога качества, добавьте LLM-подход и сравните результаты на том же разбиении. Считать более сложный подход оправданным стоит тогда, когда его выигрыш на вашей задаче достаточно велик и надёжно измерен относительно практического порога.
Если протоколы публикаций не совпадают, не выбирайте метод по прямому сравнению их итоговых чисел: сначала выровняйте условия или проведите собственное сопоставление. Если разница мала относительно неопределённости или не меняет решение по задаче, более дешёвый вариант может быть предпочтительнее. Вывод препринта условный: он поддерживает проверку базовых методов, но не универсальное правило, что они заменяют LLM или что LLM всегда дают существенное преимущество.
