Переобучение (overfitting): что это такое

Переобучение — это состояние, при котором модель слишком точно подстраивается под обучающую выборку, включая шум, редкие совпадения и случайные закономерности, поэтому на новых данных качество падает. Обычно это видно по большому разрыву между метрикой на train и на validation или test. Термин полезен, только если обучение и проверка поставлены корректно: если есть утечка признаков, сдвиг данных между обучением и продакшеном или слишком маленькая проверочная выборка, проблема может быть не в переобучении, а в дизайне эксперимента.

Простыми словами

Если упростить, модель не научилась общему правилу, а выучила ответы на примерах. Это похоже на подготовку к экзамену по готовым билетам: на знакомых вопросах результат отличный, на новых — слабый.

Переобучение возникает, когда гибкость модели выше, чем качество сигнала в данных. Чем больше у модели свободы, тем легче ей объяснить даже случайный шум. Это касается и простых алгоритмов вроде деревьев решений без ограничений, и больших нейросетей, и сложных пайплайнов с агрессивным подбором гиперпараметров.

• Признак 1. На обучении метрика очень хорошая, на валидации заметно хуже.
• Признак 2. Добавление эпох, глубины дерева или числа параметров улучшает train, но не улучшает validation.
• Признак 3. Модель нестабильна: небольшое изменение выборки сильно меняет результат.

Важно не путать переобучение с общей низкой точностью. Если модель плохо работает и на обучении, и на валидации, это чаще недообучение или слабые признаки, а не overfitting.

Как это работает

Практически процесс выглядит так. Сначала модель учится на части данных. Затем мы проверяем ее на отложенной выборке, которую модель не видела. Если на обучении ошибка падает почти до нуля, а на новых примерах остается высокой, модель уловила не только закономерность, но и случайные детали конкретной выборки.

1. Данные делят как минимум на train и validation, а лучше на train, validation и test.
2. На train модель подбирает параметры.
3. На validation сравнивают версии модели и настраивают гиперпараметры.
4. Test оставляют для финальной оценки после всех решений.

Причины переобучения обычно сводятся к нескольким классам:

• Слишком сложная модель. У модели достаточно емкости, чтобы запомнить частные случаи.
• Слишком мало данных. На маленькой выборке шум легко принять за правило.
• Шумные или нерелевантные признаки. Модель строит решения на случайных корреляциях.
• Чрезмерный подбор гиперпараметров. Если много раз оптимизировать по одной и той же валидации, можно переобучиться уже на нее.

Ситуация	Ошибка на обучении	Ошибка на валидации	Интерпретация
Недообучение	Высокая	Высокая	Модель слишком простая или признаки слабые
Приемлемое обобщение	Низкая	Низкая и близкая к обучению	Модель поймала устойчивый сигнал
Переобучение	Очень низкая	Заметно выше	Модель запомнила детали обучающей выборки

Для диагностики обычно смотрят не одну цифру, а динамику: кривые обучения, разницу между фолдами кросс-валидации, стабильность результата на новых срезах данных. Еще одна важная проверка — отсутствие утечки данных. Если в признаках есть информация, появляющаяся после предсказываемого события, вы получите ложное ощущение высокого качества, но это не классическое переобучение.

Зачем нужно

Понимание переобучения нужно не для теории, а для надежного внедрения моделей. Модель с прекрасными метриками на обучении и слабым качеством на новых данных бесполезна в продакшене. Она будет давать нестабильные прогнозы, ломать приоритизацию, искажать оценку риска и создавать ложное ощущение готовности системы.

• Чтобы не переоценить качество. Разделение на обучающую и проверочную выборки защищает от самообмана.
• Чтобы выбирать правильную сложность модели. Максимум параметров не равен максимуму пользы.
• Чтобы экономить ресурсы. Иногда проще и надежнее ограничить модель или убрать шумные признаки, чем усложнять стек.
• Чтобы повысить переносимость. Чем меньше модель зависит от случайных деталей набора данных, тем выше шанс, что она переживет обновление потока данных.

Пример

Допустим, команда строит модель оттока клиентов для SaaS-сервиса. Есть история логинов, тариф, обращения в поддержку, платежная дисциплина и несколько технических идентификаторов. В первой версии обучили дерево решений без ограничений глубины. На train модель почти не ошибается, но на validation качество заметно ниже. Это типичный сигнал переобучения.

1. Сначала проверяют разбиение. Для такой задачи разумно делить данные по времени, чтобы будущая информация не попадала в прошлое.
2. Затем проверяют признаки на утечку. Например, статус договора, обновленный уже после ухода клиента, нельзя использовать для предсказания ухода.
3. После этого ограничивают сложность дерева: уменьшают max_depth, увеличивают min_samples_leaf, сравнивают варианты по кросс-валидации.
4. Дополнительно строят кривые обучения. Если рост глубины продолжает улучшать только train, а validation стоит на месте или ухудшается, усложнение модели не нужно.

Практический вывод в таком кейсе обычно простой: лучше модель чуть проще, но устойчивее на новых клиентах. Если после упрощения дерева разрыв между train и validation сократился, а метрика на проверке стала стабильнее между фолдами, это хороший признак, что модель начала обобщать, а не запоминать.

Заблуждения и ограничения

Переобучение — важная, но не универсальная причина проблем.

• Заблуждение: любой разрыв между обучением и валидацией означает overfitting. Небольшой разрыв нормален. Вопрос в масштабе и устойчивости эффекта.
• Заблуждение: регуляризация решает все. Если причина в утечке признаков, плохой разметке или сдвиге данных, регуляризация не поможет.
• Заблуждение: чем больше данных, тем проблема обязательно исчезнет. Дополнительные данные помогают только если они из той же задачи, корректно размечены и не усиливают шум.
• Заблуждение: большая модель всегда переобучается. Риск выше, но итог зависит от данных, процедуры валидации, регуляризации и режима обучения.

Есть и ограничения самого понятия. Если продакшен-данные системно отличаются от обучающих, корректнее говорить о data drift или смене распределения. Если тестовая выборка слишком мала, разрыв может быть случайным. Если задача имеет сильную временную зависимость, случайное перемешивание строк может дать неверную картину качества. В таких случаях сначала чинят протокол эксперимента, а уже потом делают выводы о переобучении.

Частые вопросы

Как понять, что модель переобучилась, а не просто слабая?

Сравните поведение на train и validation. Если на обучении качество высокое, а на проверке заметно хуже, это похоже на переобучение. Если плохо везде, ищите недообучение, слабые признаки или ошибки в данных.

Можно ли использовать test для настройки модели?

Нет. Test нужен для финальной, однократной оценки после выбора архитектуры и гиперпараметров. Если подстраиваться под test, вы постепенно переобучитесь и на него.

Всегда ли помогает регуляризация?

Регуляризация часто снижает переобучение, потому что ограничивает гибкость модели. Но она не исправляет утечку данных, плохое разбиение по времени, неверную метрику или сдвиг распределения между обучением и продакшеном.

Больше данных действительно помогает?

Часто да, потому что устойчивый сигнал лучше отделяется от шума. Но это работает, только если новые данные собраны из той же предметной области, репрезентативны и качественно размечены.

Связанные понятия

• Недообучение. Обратная проблема: модель слишком простая и не может выучить даже основную закономерность.
• Регуляризация. Набор методов, ограничивающих сложность модели: штрафы на веса, dropout, ранняя остановка, pruning и другие техники.
• Кросс-валидация. Способ более устойчиво оценить качество модели на ограниченном объеме данных.
• Утечка данных. Попадание в признаки информации, недоступной в момент предсказания. Часто маскируется под высокое качество.
• Смещение и разброс. Компромисс между систематической ошибкой и чувствительностью модели к выборке. Переобучение обычно связано с избыточным разбросом.