RLSF — сокращение от reinforcement learning with self-feedback, или обучения с подкреплением через самообратную связь. The Decoder описывает его как метод дообучения, в котором сигналом вознаграждения служат собственные оценки уверенности модели или сгенерированная ею критика. Издание сообщает, что DeepSeek применяет подход при создании полноценных программных проектов; независимого подтверждения этого описания в доступных материалах нет. The Decoder пересказывает описание RLSF и заявления DeepSeek.
Как работает самообратная связь
При дообучении модели нужен сигнал, по которому можно различать более и менее желательные ответы. В описании RLSF таким сигналом становится оценка самой модели: например, её внутренняя оценка уверенности или критическое замечание к собственному ответу. Это объясняет, откуда берётся сигнал обучения, но не означает, что модель независимо подтвердила правильность результата.
Пример: создание программного проекта
Представим, что модель создаёт небольшую игру и сама замечает: обработка столкновений может быть неполной. В рамках описанного механизма её критика может использоваться как сигнал при дообучении. Это иллюстрация принципа, а не воспроизведение эксперимента DeepSeek: доступное описание не раскрывает конкретную процедуру обучения или отдельный тест, показывающий, что такая критика исправляет ошибки игры.
На практике самооценка может пропустить дефект. Если модель уверена, что игра работает, но столкновения обрабатываются неправильно, оценка уверенности не заменяет запуск проекта и проверку поведения. Тесты или экспертная оценка проверяют результат по внешним критериям; самообратная связь сообщает, как сама модель оценила свою работу.
Чем RLSF отличается от человеческой оценки и модели-награды
При человеческой оценке сигнал для обучения задаёт человек, сопоставляющий ответ с критериями задачи. Внешняя модель-награда — отдельная модель, которая оценивает ответы и формирует сигнал. В описании RLSF источником обратной связи выступает сама обучаемая модель: её уверенность или собственная критика.
The Decoder передаёт заявление DeepSeek, что такой подход устраняет необходимость в человеческих оценщиках или внешних моделях-наградах. Это заявление компании, а не независимо установленный факт о процессе обучения. И даже если обучающий сигнал создаёт сама модель, это не отменяет проверки готового результата.
Для каких задач описан подход и где он может ошибаться
По пересказу The Decoder, DeepSeek связывает RLSF с разработкой проектов — от программирования игр до 3D-моделирования и дизайнерских задач. Это заявление о применении метода, а не независимое подтверждение его одинаковой эффективности во всех этих областях. Самообратная связь может быть полезна как способ сформировать сигнал для дообучения, но качество такого сигнала зависит от того, замечает ли модель ошибки, важные для реальной задачи.
Если модель оценивает не тот признак, который определяет успех, она может считать результат удачным, хотя проект не выполняет требования. The Decoder отмечает, что независимых бенчмарков на момент публикации не было, а приведённые оценки относились к внутренним тестам DeepSeek. Поэтому практический вывод ограничен: самооценку можно понимать как обучающий сигнал, но корректность созданного проекта нужно проверять отдельно.
Дообучение — не то же самое, что работа агента
RLSF описывает способ дообучения модели: какой сигнал используется для корректировки её поведения. Агент, напротив, — система, которая применяет модель для выполнения задачи и может взаимодействовать с инструментами или средой. Например, агент может создавать игру, а тесты — проверять её работу; ни запуск агента, ни наличие тестов сами по себе не объясняют, как модель обучали. Это различие помогает не путать метод формирования поведения с последующим использованием модели.
