Претрейнинг (pre-training): что это

Претрейнинг — это этап, на котором модель заранее обучают на большом массиве данных по общей задаче, чтобы потом быстрее и точнее адаптировать под прикладную задачу. На практике это способ перенести в модель базовые закономерности языка, изображений, кода или сигналов до того, как вы начнете решать узкий бизнес-кейс. Метод полезен, когда собственной размеченной выборки мало или она дорогая, но он плохо подходит, если внешние данные нельзя использовать по юридическим причинам, если домен слишком специфичен и сильно отличается от общего корпуса, либо если стоимость обучения и контроля рисков выше ожидаемой выгоды.

Простыми словами

Если упростить, претрейнинг похож на базовое образование. Сначала модель получает «общую подготовку»: учится предсказывать следующее слово, восстанавливать скрытые токены, сопоставлять фрагменты текста и другие структуры. Потом эту подготовленную модель доучивают под конкретную задачу: классификацию обращений, поиск дубликатов, извлечение сущностей, ранжирование документов.

Ключевая идея в том, что нейросети дорого учить с нуля. Если каждый раз начинать без предварительных знаний, нужны большие объемы разметки, много вычислений и длинные циклы экспериментов. Претрейнинг снижает эту цену входа: часть знаний уже встроена в веса модели.

• Обучение с нуля — модель не знает ничего о данных и структуре задачи.
• Претрейнинг — модель получает общие представления на большом корпусе.
• Файнтюнинг — модель адаптируют под конкретную прикладную цель.

Важно не путать претрейнинг с просто «большим обучением». Не любой долгий запуск является претрейнингом. Претрейнинг обычно решает общую, переносимую задачу, а не конечную бизнес-метрику напрямую.

Как это работает

Технически претрейнинг — это оптимизация модели на большой выборке, чаще всего без ручной разметки или с минимальной структурной разметкой. Для текста наиболее распространены два режима: авторегрессионный, где модель предсказывает следующий токен, и денойзинговый, где она восстанавливает скрытые или искаженные части входа. Для изображений это могут быть контрастивные задачи или реконструкция фрагментов изображения.

Этап	Что происходит	Что получается
Выбор корпуса	Собирают большой массив данных, близкий к будущему применению	Сырье для базового обучения
Выбор предтекстовой задачи	Определяют, что модель должна предсказывать или восстанавливать	Общая обучающая цель
Претрейнинг	Оптимизируют веса на больших объемах данных	Базовые представления в модели
Адаптация	Меняют голову модели или продолжают обучение на целевой задаче	Специализация под кейс
Оценка и контроль	Проверяют качество, смещения, устойчивость и утечки	Решение о выводе в прод

1. Подбирают архитектуру. Например, трансформер для текста или ViT-подобную модель для изображений.
2. Собирают данные. Чем ближе данные к будущему использованию, тем выше шанс полезного переноса.
3. Формулируют задачу претрейнинга. Для языка это может быть next-token prediction или masked language modeling.
4. Обучают модель. На этом этапе модель усваивает статистические зависимости, но еще не решает ваш бизнес-кейс напрямую.
5. Дообучают под задачу. Используют небольшой размеченный датасет или продолжают обучение на доменных данных.

Отдельный практический вариант — доменный претрейнинг. Это не обучение «с нуля», а дополнительный этап, когда уже существующую общую модель продолжают учить на текстах конкретной отрасли: медицине, праве, финтехе, телеком-поддержке. Такой подход часто дешевле полного претрейнинга и полезнее, если общий корпус слишком далек от продовых данных.

Зачем нужно

Главная причина использовать претрейнинг — дефицит качественной разметки. Большой неразмеченный корпус обычно достать проще, чем тысячи аккуратно размеченных примеров. Претрейнинг позволяет превратить этот корпус в полезные представления, а потом извлечь выгоду на прикладной задаче.

• Экономия разметки. Для многих задач нужно меньше размеченных примеров.
• Быстрый старт. Можно не обучать модель с нуля под каждый новый сценарий.
• Лучший перенос. Модель уже знает базовые закономерности домена.
• Стабильнее обучение. Предобученные веса часто сходятся быстрее, чем случайная инициализация.
• Унификация стека. Одна базовая модель может обслуживать несколько схожих задач после адаптации.

Но у этого есть предел. Если у вас уже есть много качественной разметки именно под вашу задачу, а целевая метрика узкая и хорошо формализована, выигрыш от претрейнинга может быть небольшим. Для табличных задач с явными признаками, строгих правил принятия решений или классических поисковых эвристик претрейнинг вообще может не быть главным рычагом качества.

Пример

Практический сценарий: нужно автоматически маршрутизировать обращения клиентов по командам поддержки. Исторических тикетов много, но размечено только 8 тысяч сообщений по 12 категориям. Обучение модели с нуля на этой разметке дает слабое качество на редких категориях и нестабильно реагирует на опечатки и длинные описания.

1. Берут уже предобученный русскоязычный трансформер общего назначения.
2. Проводят дополнительный доменный претрейнинг на нескольких миллионах неразмеченных тикетов, писем и статей базы знаний компании.
3. После этого делают файнтюнинг на 8 тысячах размеченных обращений.
4. Сравнивают результат не только по общей точности, но и по качеству на редких очередях, длине сообщений, свежих шаблонах жалоб и сезонных темах.

Что дает такой подход на практике: модель лучше понимает внутренний словарь компании, типовые сокращения, названия продуктов и характерные формулировки пользователей. Часто улучшается качество именно там, где общий корпус слаб: нестандартные аббревиатуры, внутренние коды, смесь разговорной речи и служебных терминов.

Если в доменных данных много шума, шаблонных автоответов, дублей или токсичных артефактов разметки, доменный претрейнинг может закрепить эти дефекты. Поэтому перед обучением нужен аудит корпуса, а после — проверка на смещения и деградацию по критичным категориям.

Этот пример показывает важную границу метода. Претрейнинг помогает, когда между общей языковой компетенцией и прикладной задачей есть связь. Если бы задача состояла в расчете строго детерминированного тарифа по регламенту, выигрыш был бы гораздо меньше, чем от явных правил и валидации данных.

Заблуждения и ограничения

Претрейнинг не гарантирует качество

Частое заблуждение — считать, что чем больше претрейнинг, тем лучше итог. Это неверно. Качество зависит от совпадения домена, чистоты данных, формулировки предтекстовой задачи и способа адаптации. Большая модель, обученная на нерелевантном корпусе, может уступать более простой модели, но на подходящих данных.

Совпадение домена важнее размера корпуса

Миллиарды токенов общего веб-текста не всегда полезнее, чем меньший, но релевантный отраслевой корпус. Если вы строите систему для медицинских протоколов, модель, насыщенная форумным сленгом и SEO-текстами, может переносить лишние паттерны и путать термины.

Это дорого не только в вычислениях

Стоимость претрейнинга — не только GPU-время. Нужны сбор данных, очистка, дедупликация, фильтрация персональных данных, юридическая проверка лицензий, инфраструктура для версионирования, контроль воспроизводимости и оценка рисков. Для небольшой команды именно эти этапы часто ограничивают проект сильнее, чем само обучение.

• Риск утечки данных. Если в корпус попали чувствительные или лицензируемые тексты, проблема не решается одной лишь анонимизацией поверхностного уровня.
• Перенос смещений. Модель унаследует перекосы источников: стиль, идеологию, дисбаланс тем и ролей.
• Забывание при дообучении. После агрессивного файнтюнинга модель может потерять часть общей компетенции.
• Слабая интерпретируемость. Трудно точно объяснить, какое знание возникло на этапе претрейнинга и почему.
• Неуниверсальность. Для структурированных табличных задач, задач с жесткими правилами и низкой толерантностью к галлюцинациям лучше работают другие подходы или гибридные системы.

Отдельно стоит учитывать режим обновления. Если домен быстро меняется, одноразовый претрейнинг быстро устаревает. Тогда приходится строить процесс регулярного дообучения, а это уже вопрос MLOps и контроля дрейфа, а не только выбора архитектуры.

Частые вопросы

Чем претрейнинг отличается от файнтюнинга?

Претрейнинг учит модель общим переносимым представлениям на большой задаче, часто без ручной разметки. Файнтюнинг донастраивает уже обученную модель под конкретную прикладную цель и целевую метрику.

Нужно ли делать собственный претрейнинг, если есть готовая модель?

Не всегда. Для многих задач достаточно готовой базовой модели и аккуратного файнтюнинга. Собственный или доменный претрейнинг оправдан, когда ваш корпус сильно отличается от общего и это заметно бьет по качеству.

Можно ли обойтись без разметки совсем?

На этапе претрейнинга часто да, но для прикладной оценки и настройки под конкретный кейс обычно все равно нужна хотя бы небольшая качественная разметка. Иначе трудно понять, решает ли модель именно вашу задачу.

Когда претрейнинг не стоит делать?

Когда задача хорошо решается правилами или классическими моделями, когда данных мало и они юридически чувствительны, когда домен быстро меняется и нет ресурса на регулярное обновление, либо когда стоимость цикла данных и контроля выше потенциальной пользы.

Связанные понятия

• Файнтюнинг — дообучение модели на целевой задаче.
• Self-supervised learning — семейство методов, где обучающая цель извлекается из самих данных.
• Transfer learning — перенос знаний из одной задачи или домена в другой.
• Domain adaptation — адаптация модели к новому распределению данных.
• Instruction tuning — настройка модели на следование инструкциям после базового претрейнинга.
• Continual learning — поэтапное обновление модели без полного переобучения с нуля.

Если нужно принять инженерное решение, смотрите не на популярность термина, а на три вопроса: есть ли у вас релевантный корпус, можно ли его законно использовать и даст ли перенос знаний выигрыш именно на вашей метрике. Претрейнинг — сильный инструмент, но только там, где стоимость данных, доменное совпадение и требования к рискам действительно складываются в его пользу.