Управление поведением больших языковых моделей (LLM) через модификацию скрытых активаций — техника, известная как activation steering — получила новое развитие. В препринте arXiv:2609.10658 группа исследователей представила GeoSteer, метод, заменяющий одношаговые правки на серию малых геодезических шагов по риманову многообразию представлений модели.
Ограничения существующих подходов
Современные методы norm-preserving steering (сохраняющие норму активаций) используют фиксированные траектории и одношаговые обновления. Как отмечают авторы, это не учитывает сложную структуру распределения активаций и может приводить к нестабильности управления. При фиксированном направлении правки модель либо недостаточно меняет поведение, либо входит в коллапс представлений — режим, при котором активации теряют информативность.
Как работает GeoSteer
GeoSteer формулирует задачу управления как риманову оптимизацию на многообразии скрытых состояний. Вместо одного большого шага в предопределённом направлении метод выполняет последовательность малых геодезических шагов. Ключевое нововведение — обучаемая нелинейная функция в пространстве активаций, которая различает «желаемые» и «нежелательные» активации. Эта функция адаптивно направляет каждый шаг, избегая фиксированной траектории.
Процесс можно описать так:
1. Для заданного слоя модели строится целевая функция, оценивающая текущую активацию.
2. Градиент этой функции проецируется на касательное пространство многообразия, чтобы сохранить норму.
3. Выполняется малый шаг вдоль геодезической, после чего активация проецируется обратно на многообразие.
4. Шаги повторяются до достижения критерия остановки.
Результаты бенчмарков
На трёх стандартных наборах данных GeoSteer превзошёл state-of-the-art методы activation steering:
| Бенчмарк | Задача | Результат GeoSteer относительно базы |
|---|---|---|
| TruthfulQA | Правдивость ответов | Улучшение точности на 4-7% при сохранении нормы |
| RealToxicityPrompts | Снижение токсичности | Снижение токсичности на 12% без ухудшения качества |
| UltraFeedback | Соответствие предпочтениям | Улучшение согласованности на 6% |
Авторы подчёркивают, что многошаговая схема даёт более плавное, стабильное и консистентное управление, чем одношаговые базы.
Практические ограничения
Несмотря на впечатляющие результаты, GeoSteer не лишён недостатков. Многошаговая оптимизация увеличивает вычислительные затраты на инференс: каждый шаг требует дополнительного forward-прохода. Кроме того, метод требует доступа к скрытым состояниям модели, что ограничивает его применение с API-доступными LLM, где такие данные недоступны. Обучаемая функция также нуждается в небольшом наборе размеченных данных для настройки.
Значение для разработчиков
Для практикующих инженеров GeoSteer предлагает более точный инструмент контроля поведения модели без необходимости тонкой настройки или изменения архитектуры. Это особенно актуально для задач, где требуется баланс между правдивостью, безопасностью и полезностью ответов — например, в чат-ботах для медицинских или юридических консультаций.
Источники
- Препринт на arXiv: GEOSTEER: Geodesic Optimization for Activation Steering in Large Language Models
- Страница arXivLabs: https://arxiv.org/