Новый препринт на arXiv cs.CL
Исследователи представили DeMTS — Denoising Trajectories as Multivariate Time Series, метод детекции галлюцинаций в диффузионных языковых моделях (D-LLM). Работа доступна на arXiv под идентификатором 2608.14632.
Суть проблемы
Диффузионные LLM генерируют текст через итеративный процесс деноизинга. Как и автокгрессивные модели, они подвержены галлюцинациям — правдоподобным, но факттически неверным выводам. Существующие методы обнаружения пытаются использовать неопределённость траекторий деноизинга, но обычно сжимают их либо по временной оси, либо по оси токенов, теряя полезную информацию о полной двумерной структуре «токен — шаг».
Что предлагает DeMTS
Авторы разработали фреймворк, который рассматривает траектории деноизинга как многомерный временной ряд над обучаемыми латентными переменными. Ключевые компоненты:
– Модуль назначения токен-переменная с сохранением траектории: преобразует сигналы токенов в стабильные латентные переменные.
– Динамическое многомерное временное моделирование: постепенно интегрирует моделирование зависимостей между переменными с временным кодированием для предсказания галлюцинаций.
Таким образом, DeMTS сохраняет полную двумерную структуру и способен улавливать паттерны, незаметные при сжатии — например, непоследовательную конвергенцию или кросс-токеновое распространение ошибок.
Результаты и верификация
Эксперименты проводились на двух бэкендах D-LLM и трёх бенчмарках. DeMTS превзошёл существующие методы обнаружения галлюцинаций по точности, демонстрируя при этом робастность, эффективность и возможность переноса между разными задачами.
| Punkt | Detail |
|---|---|
| Ключевая идея | Использование полной двухмерной структуры (токен х шаг) как многомерного временного ряда, а не сжатие траекторий |
| Методология | Токен-к-переменной назначение + динамическое многомерное моделирование с временным кодированием |
| Результаты | Превосходство над существующими методами на двух D-LLM и трёх бенчмарках |
| Ограничения | Неясна применимость к другим архитектурам D-LLM и реальным сценариям; нет информации о доступности исходного кода |
Что остаётся неясным и что проверять дальше
- В препринте не указано, планируется ли открытая публикация кода или демо. Это важно для воспроизводимости.
- Пока неясно, как метод поведёт себя на более крупных моделях или в условиях высоких требований к скорости (режим реального времени).
- Стоит следить за последующими работами той же группы — возможно, последует расширение на другие типы галлюцинаций или на многомодальные модели.
Источник: оригинальная статья на arXiv https://arxiv.org/abs/2608.14632
Верификация: https://arxiv.org/