LLM знают ограничение, но не используют: arXiv о сбоях маршрутизации активаций

Dr Martens 'How to Wear' campaign | by University of Salford | openverse | by

Что произошло

На arXiv cs.CL появился препринт о том, почему LLM игнорируют неявные ограничения выполнимости, когда в промпте есть яркая поверхностная подсказка. Авторы утверждают, что агрегатная точность смешивает два разных явления: реальный вывод ограничения и консервативное «умолчание», которое выглядит как правильный ответ. Чтобы их разделить, предложена диагностика из четырех проверок: Knowledge, Symmetry, Routing, Repair. Тема вызывает интерес, потому что напрямую касается границы между знанием правил и их применением в генерации.

Суть диагностики

Проверяется, закодировано ли ограничение во внутренних представлениях модели, симметрично ли оно присутствует в промптах с ограничением и без, попадает ли в итоговое решение и можно ли восстановить поведение вмешательством в активации. На 14 моделях видны два разных паттерна отказа. Пробы на двух открытых моделях декодируют ограничение с точностью выше 88%, однако activation patching чинит одну модель (+6.4 nats) и не влияет на другую (−0.07 nats).

Что подтверждено и что нет

Подтверждено: у части моделей сбой действительно связан с маршрутизацией сигнала, а не с отсутствием знания; два паттерна отказа воспроизводятся на выборке из 14 моделей. Пока неясно, переносятся ли выводы на закрытые API-модели и другие типы ограничений. Авторы также сообщают: ни один промптовый приём не достигает «угла починки», все вмешательства усиливают консервативное смещение через единый путь — упоминание предусловий.

На что смотреть дальше

Ожидаемы репликации на проприетарных моделях и уточнение того, какие слои и токены отвечают за маршрутизацию. Практический вывод: если модель «знает» правило, но не применяет его, причина может быть не в промпте, а во внутренней передаче сигнала — это меняет подход к диагностике отказов.

Источник: https://arxiv.org/abs/2608.12321. Проверка: https://arxiv.org/.