Препринт arXiv:2610.36191v1 от 26 октября 2026 года описывает LOTUS — метод детекции галлюцинаций больших языковых моделей по их скрытым состояниям. Авторы — Devansh Sharma, Faizul Rakib Sayem и Shahana Ibrahim из University of Central Florida. Ставка метода — компактный признак ответа при меньшей зависимости от размеченных данных; заявленное превосходство пока подтверждено только экспериментами самих авторов.
LOTUS сжимает скрытые состояния для поиска галлюцинаций
Название расшифровывается как Low-rank Order-statistic TUcker-based Subspace learning. Метод работает не с текстом ответа и не с внешней базой фактов, а с внутренними представлениями модели: векторами токенов на разных слоях. Такие векторы имеют переменную длину и высокую размерность, поэтому использовать их напрямую как признак дорого и неудобно. LOTUS сворачивает последовательность в набор статистик по слоям и признакам, получая массив «слой × признак», а затем ищет в нём низкоранговую структуру. Идея в том, чтобы сохранить различия между слоями и признаками, а не усреднить их в один вектор.
Какие сигналы использует метод
Статистические дескрипторы, по описанию авторов, фиксируют три типа сигналов: пиковые активации, распределение активаций и изменения между слоями. Метод смотрит не только на то, насколько сильно сработал отдельный нейрон, но и на форму распределения и на то, как представление меняется от слоя к слою. После этого LOTUS применяет неконтролируемую Tucker-2-проекцию по измерениям слоёв и признаков. Это разложение раскладывает массив на компактные факторы по двум осям, сохраняя мультилинейную организацию данных; авторы противопоставляют его выбору отдельных активаций или пулингу, которые могут терять такую структуру.
Метки галлюцинаций нужны не для построения представления, а для обучения лёгкого классификатора поверх сжатых признаков. Основную часть схемы авторы обучают на неразмеченных скрытых состояниях и именно это называют снижением зависимости от размеченных данных. Отдельный вопрос — сколько примеров всё же требуется классификатору и как метод ведёт себя на новых типах вопросов; в аннотации и вводной части эти параметры не уточняются.
Что заявлено об эффективности и чего не позволяют заключить данные
Авторы заявляют, что эксперименты на нескольких LLM и вопросно-ответных бенчмарках показали улучшение детекции по сравнению с недавними SOTA-базлайнами. Это формулировка из аннотации и списка вкладов, а не результат независимой проверки. Подробности — в разделах Experiments, Evaluation Setup и Experiment Results; в аннотации и вводной части ни величина прироста, ни конкретные базовые модели и наборы не названы, поэтому цену метода по задержке и памяти оценить нельзя.
Ограничения касаются и статуса работы: это первая версия препринта, размещённая 26 октября 2026 года, без указания на рецензирование, а наличие кода и данных не подтверждено. Лицензия текста CC BY 4.0 относится к самому препринту и не означает открытости реализации. Практический вывод осторожный: LOTUS даёт конкретную гипотезу о том, какие сигналы скрытых состояний стоит сжимать, но пригодность метода для продакшена и его преимущество над альтернативами ещё нужно проверять на воспроизводимых данных.
