Weak-to-strong: слабый учитель для сильной модели — разбор работы OpenAI

14 декабря 2023 года OpenAI выложила работу Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision; позже она вышла и как конференционная публикация в ICML 2024. Вопрос у статьи простой по формулировке, но важный для безопасности ИИ: может ли слабый супервизор обучать более сильную модель так, чтобы та не просто копировала ошибки учителя, а использовала собственные скрытые способности. Для практиков это интересно не как абстрактная философия, а как тестовый стенд для масштабируемого надзора: если слабая разметка может «вытягивать» сильную модель, то это меняет взгляд на RLHF, reward-модели и процесс контроля более способных систем. В этом разборе речь идет именно об исторической работе OpenAI 2023–2024 годов; более поздние теоретические статьи мы используем только как контекст для интерпретации.

Контекст: зачем вообще нужен weak-to-strong

Работа выросла из линии OpenAI, которую компания называла superalignment. В июльском тексте о Superalignment OpenAI формулировала базовую проблему так: сегодняшние методы выравнивания, включая RLHF, опираются на человеческую способность оценивать ответы модели. Но если система становится существенно умнее человека в конкретном домене, человек уже не может надежно проверить ни корректность рассуждения, ни безопасность результата.

Отсюда и идея статьи: вместо того чтобы сразу решать «как человек контролирует сверхчеловеческую систему», авторы строят более доступную аналогию. Они заменяют слабого человека-супервизора на слабую модель, а сильную будущую систему — на более крупную предобученную модель того же семейства. Так появляется эмпирический вопрос: если маленькая модель размечает данные, сможет ли большая модель выучить не только ее ответы, но и саму задачу.

Это важное смещение фокуса. Обычная интуиция подсказывает, что студент не должен стабильно превосходить учителя, если учится на его псевдометках. Но у предобученной сильной модели уже есть богатые представления о мире и о задаче. Значит, слабый учитель в идеале должен не «научить с нуля», а извлечь из большой модели то, что в ней уже есть.

Как прямо уточняют авторы, они используют не буквальные публичные GPT-2, GPT-3 и GPT-3.5, а семейство внутренних базовых моделей GPT-4-family. Обозначения вроде GPT-2-level и GPT-3.5-level в статье — это уровни внутри этой шкалы мощности, а не прямое сравнение с публичными продуктами.

Метод: как устроен weak-to-strong generalization в работе OpenAI

Методология у статьи аккуратная и для практиков полезная сама по себе. Для каждой задачи авторы делают три шага.

1. Обучают слабого супервизора на правильных метках.
2. Генерируют слабые метки и на них дообучают сильную модель-студента.
3. Обучают сильный потолок на ground truth, чтобы понять, сколько от полного потенциала удалось вернуть при слабом надзоре.

Для сравнения вводится метрика PGR (performance gap recovered) — доля разрыва между слабой моделью и сильным потолком, которую удалось восстановить.

PGR = (weak-to-strong performance - weak performance) / (strong ceiling performance - weak performance)

Если PGR равен 0, студент не стал лучше учителя. Если 1, слабый надзор полностью восстановил разрыв до сильной модели с ground truth.

Эксперименты идут в трех режимах: большой набор NLP-классификации, chess puzzles и внутренний датасет ChatGPT reward modeling. Для NLP в статье отдельно указано, что агрегированные графики строятся как медиана по 22 задачам; это число взято из самой статьи и приложения, а не из внешней репликации.

Дальше авторы проверяют не только наивный базовый вариант, но и несколько способов улучшить weak-to-strong.

• Bootstrapping: идти не одним большим прыжком от слабой модели к очень сильной, а через промежуточные размеры.
• Auxiliary confidence loss: добавлять к кросс-энтропии член, который поощряет сильную модель быть уверенной в собственных предсказаниях, даже если они расходятся со слабой меткой.
• Generative finetuning на reward-modeling данных: повышать «салентность» задачи для сильной модели до weak supervision.

Формула для главного улучшения на NLP выглядит так:

L_conf = (1 - α) * CE(f(x), f_w(x)) + α * CE(f(x), f_hat_t(x))

Где первая часть тянет студента к слабой метке, а вторая — к его собственному «зажесточенному» предсказанию. По сути это смесь weak supervision и self-training. Практически смысл такой: студенту разрешают не только подражать учителю, но и опираться на собственную внутреннюю уверенность.

Результаты

Сетап	Что сообщает работа	Практический смысл	Надежность вывода
NLP, наивное weak supervision	По данным самой статьи, если дообучать GPT-4-family student на метках от GPT-2-level supervisor, обычно возвращается около половины разрыва; на агрегированном графике для крупных студентов PGR часто выше 50%.	Студент не сводится к копии слабого учителя и может исправлять часть его ошибок.	Точные проценты опираются на один первоисточник — текст статьи и PDF; независимой репликации внутри самой работы нет.
NLP, auxiliary confidence loss	OpenAI в блоге, arXiv-версии и ICML-версии описывает результат как GPT-2-level supervision, вытягивающий GPT-4-family model до уровня, близкого к GPT-3.5-level. В самой статье для самой дальней пары моделей дополнительно сообщается рост медианного PGR примерно с 25% до почти 80%.	Простая регуляризация может резко уменьшить копирование ошибок слабого учителя.	Высокоуровневый вывод подтверждается несколькими первичными источниками; точная связка «25% → почти 80%» дана в одном основном источнике и потому должна читаться как результат самих авторов.
Chess, bootstrapping	По данным самой статьи, при малых разрывах между учителем и студентом PGR может быть выше 40%, а многошаговый переход через промежуточные модели улучшает результат для крупных студентов.	Иногда выгоднее не делать один большой transfer, а поднимать способность по ступеням.	Числа и эффект описаны в одном первоисточнике; это полезный, но пока локальный эмпирический сигнал.
Reward modeling	И блог OpenAI, и статья подчеркивают, что здесь weak-to-strong по умолчанию слаб. По данным самой статьи, PGR обычно около 10% и почти никогда не превышает 20%; дополнительный generative finetuning добавляет примерно 10–20% PGR, а вместе с early stopping может давать около 30–40%.	Именно там, где weak supervision больше всего напоминает RLHF-пайплайн, базовый подход оказывается наименее убедительным.	Качественный вывод подтвержден несколькими источниками; точные интервалы приведены в одной основной работе и не должны восприниматься как внешне воспроизведенный стандарт.

Если убрать детали, главный эмпирический тезис работы такой: weak-to-strong существует, но по умолчанию недостаточен. Это очень важная комбинация. Статья не говорит «проблема решена». Она говорит более осторожно: даже слабый надзор уже может извлекать часть силы большой модели, а значит эту линию исследований стоит развивать; но прямое копирование сегодняшнего RLHF на завтрашние сверхсильные системы выглядит ненадежно.

Интерпретация

Почему эффект вообще возможен? Исходная статья объясняет это интуитивно: сильная модель уже что-то знает о задаче после предобучения, и слабый учитель лишь помогает извлечь это знание. Поздние теоретические работы 2024 года предложили более формальные интерпретации. В Theoretical Analysis of Weak-to-Strong Generalization эффект раскладывается на pseudolabel correction и coverage expansion: сильный студент может исправлять ошибки слабого учителя и обобщаться на примеры, где тот был плох или неуверен. В Quantifying the Gain in Weak-to-Strong Generalization прирост связывают с misfit error: насколько плохо сильная модель укладывается в слабые метки без потери на реальной задаче.

Для практиков это полезная рамка. Weak-to-strong работает не потому, что «большая модель магически умнее», а потому, что слабые метки не полностью определяют поведение студента. Если ошибки учителя трудно имитировать без деградации основной задачи, студенту выгоднее опереться на собственные представления. Именно поэтому self-training-подобный confidence loss в статье и выглядит разумным: он немного отвязывает студента от обязательного копирования слабого надзора.

Наш комментарий

На наш взгляд, самая ценная часть этой работы — даже не конкретный трюк с confidence loss, а сама операционализация проблемы надзора. Статья дает инженерам рабочий шаблон: возьмите дорогую сильную модель, дешевый слабый источник меток, выделите небольшой набор ground truth для контроля, посчитайте PGR и проверьте, где студент действительно выходит за пределы учителя. Это переводит разговор о «масштабируемом надзоре» из уровня лозунгов в уровень эксперимента.

Но здесь важно не переинтерпретировать результат. Повышенный PGR не равен «безопасности», а слабое превосходство над учителем не означает, что студент правильно обобщится в открытой среде, под давлением оптимизации или в агентном сценарии. Работа показывает обещающий механизм, а не закрытую проблему alignment.

Ограничения

• Это аналогия, а не финальная постановка superalignment. Сами авторы отдельно пишут о двух оставшихся разрывах: imitation saliency и pretraining leakage. Будущей сверхсильной системе может быть проще имитировать человеческие ошибки, чем нынешним моделям — ошибки слабой модели; кроме того, текущие модели уже впитали массу человеческих сигналов на этапе предобучения.
• Результаты частично завязаны на закрытую инфраструктуру. Авторы используют внутреннее семейство GPT-4 и проприетарный датасет ChatGPT reward modeling. Это ухудшает прямую воспроизводимость, особенно в самом чувствительном для alignment сетапе.
• Разрешен доступ к ground truth для исследования и подбора методов. В реальной постановке надзора над сверхчеловеческой системой таких меток на сложных примерах может не быть вовсе.
• Улучшения не универсальны. Confidence loss помогает не везде; в статье прямо сказано, что на малых разрывах между слабой и сильной моделями он может давать нейтральный или отрицательный эффект, а reward modeling остается трудным даже после дополнительных приемов.
• Фокус на ограниченных типах задач. Основные эксперименты — это классификация, шахматные задачи и reward model accuracy. Отсюда нельзя напрямую вывести поведение в долгих агентных траекториях, при deception или в сложных multi-step safety-пайплайнах.

Вывод

Weak-to-Strong Generalization — одна из тех работ, которые важны не потому, что дают готовый продукт, а потому, что задают измеримую исследовательскую программу. OpenAI показала, что сильная модель действительно может превзойти слабого учителя и иногда существенно, но также честно показала, что этого пока недостаточно там, где задача ближе всего к реальному RLHF. Если вам интересны safety-пайплайны, distillation, reward models или scalable oversight, читать эту работу стоит как отправную точку, а не как окончательный ответ.

Источники

• Weak-to-strong generalization | OpenAI
• Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision | arXiv
• WEAK-TO-STRONG GENERALIZATION: ELICITING STRONG CAPABILITIES WITH WEAK SUPERVISION | OpenAI PDF
• Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision | Proceedings of Machine Learning Research
• Weak-to-Strong Generalization: Eliciting Strong Capabilities with Weak Supervision | ML Anthology
• Introducing Superalignment | OpenAI
• Theoretical Analysis of Weak-to-Strong Generalization | NeurIPS 2024
• Quantifying the Gain in Weak-to-Strong Generalization | NeurIPS 2024

FAQ

Weak-to-strong — это просто knowledge distillation?

Не совсем. В distillation студент обычно старается хорошо воспроизвести учителя. Здесь же центральный вопрос противоположный: сможет ли студент превзойти слабого учителя, потому что уже знает о задаче больше после предобучения.

Доказывает ли работа, что RLHF не масштабируется?

Нет. Корректнее сказать так: статья дает эмпирическое предупреждение, что наивный weak supervision, аналогичный человеческому надзору в RLHF, может плохо масштабироваться без дополнительных методов. Это не строгий запрет на RLHF, а указание на его слабое место.

Почему провал на reward modeling так важен?

Потому что reward modeling ближе всего к реальным alignment-пайплайнам. Если weak-to-strong особенно слаб именно там, это означает, что проблема не ограничивается игрушечными классификационными задачами и требует дополнительных методов.

Что из этой статьи может взять прикладная команда уже сейчас?

Полезны три вещи: считать PGR-подобную метрику, не полагаться только на качество учителя, и тестировать self-training/bootstrapping-приемы на собственных weak-label pipeline. Но трактовать это как гарантию безопасности нельзя.

Читайте также

• International AI Safety Report: где есть консенсус, а где спор
• «Let’s Verify Step by Step»: как награда за каждый шаг меняет проверку рассуждений
• DPO и его наследники: как выглядит RLHF без отдельной reward-модели
• In-context scheming: что реально показала работа Apollo Research