Валидационная выборка

Валидационная выборка — это часть данных, которую откладывают от обучения модели и используют для промежуточной проверки качества: подбора гиперпараметров, выбора архитектуры, порога, признаков или момента остановки обучения. Она не подходит для финальной оценки качества в продакшене и не заменяет тестовую выборку. Если данных мало, если есть сильная временная зависимость или если валидация используется слишком много раз, обычное разбиение на train/validation/test может давать смещённые выводы; тогда применяют кросс-валидацию, вложенную кросс-валидацию или разбиение по времени.

Простыми словами

Представьте, что вы учите модель распознавать спам. На одной части писем она учится находить закономерности. На другой части вы смотрите, насколько хорошо она справляется с новыми примерами, и решаете, стоит ли менять параметры модели. Эта вторая часть и есть валидационная выборка.

Главная идея простая: модель не должна проверяться на тех же данных, на которых она училась. Иначе качество будет выглядеть лучше, чем на реальных новых данных. Но и использовать для такой промежуточной проверки тестовую выборку нельзя: если постоянно смотреть на тест, решения начнут подстраиваться и под него тоже.

Поэтому в типичном процессе есть три роли данных:

• обучающая выборка — для обучения параметров модели;
• валидационная выборка — для выбора настроек и контроля обучения;
• тестовая выборка — для одной финальной, максимально честной оценки.

Как это работает

На практике данные делят на несколько частей. Модель обучают на train, затем считают метрики на validation и по результатам принимают решения. Например:

• подбирают глубину дерева, коэффициент регуляризации или learning rate;
• сравнивают несколько алгоритмов;
• включают или исключают признаки;
• выбирают порог классификации;
• останавливают обучение нейросети, если качество на validation перестало расти.

Важно различать два типа параметров:

• параметры модели — то, что настраивается автоматически в ходе обучения, например веса нейросети;
• гиперпараметры — то, что выбирает разработчик или процедура поиска, например число слоёв, глубина дерева, размер батча.

Валидационная выборка нужна именно для решений второго типа и для промежуточного контроля. Если после каждого эксперимента вы смотрите на качество на validation и меняете подход, вы уже частично подстраиваетесь под эту выборку. Поэтому после завершения выбора модели нужна отдельная тестовая проверка.

Если данных достаточно, используют простое hold-out-разбиение, например 70/15/15 или 80/10/10. Точных универсальных пропорций нет: они зависят от объёма данных, класса модели и стоимости ошибки. Если данных мало, более устойчивым вариантом становится кросс-валидация: данные многократно делятся на фолды, а метрика усредняется.

Для временных рядов случайное перемешивание часто недопустимо. Валидационная выборка должна идти после обучающей по времени, иначе возникает утечка будущей информации. Для групповых данных, например нескольких записей одного пользователя, разделение делают по группам, чтобы наблюдения одного объекта не попали и в train, и в validation.

Зачем нужно

Без валидационной выборки трудно понять, делает ли модель полезные обобщения или просто запоминает обучающие примеры. В прикладной работе она решает несколько задач.

• Подбор гиперпараметров. Можно сравнить несколько конфигураций и выбрать ту, которая лучше работает на данных вне обучения.
• Выбор модели. Например, решить, что градиентный бустинг лучше логистической регрессии для текущего набора признаков.
• Контроль переобучения. Если ошибка на train падает, а на validation растёт, модель начинает запоминать шум.
• Early stopping. В нейросетях и бустингах часто останавливают обучение по метрике на validation.
• Калибровка решений. Порог вероятности, бизнес-правила, баланс precision/recall обычно выбирают не по train, а по validation.

Практический смысл валидации не в том, чтобы получить красивую цифру, а в том, чтобы сократить риск ошибок при выборе решения до выхода в продакшен.

Пример

Допустим, команда строит модель для предсказания оттока клиентов интернет-сервиса. Есть 100 000 записей с историей поведения пользователей. Данные делят так: 70 000 — train, 15 000 — validation, 15 000 — test.

1. На train обучают три модели: логистическую регрессию, случайный лес и градиентный бустинг.
2. На validation сравнивают ROC AUC и recall при фиксированном уровне precision, потому что бизнесу важно не перегрузить команду удержания ложными срабатываниями.
3. Выясняется, что бустинг даёт лучшую метрику, но только при определённой глубине деревьев и learning rate.
4. Далее на validation подбирают порог вероятности, при котором в работу попадает приемлемое число клиентов.
5. После выбора конфигурации модель один раз оценивают на test. Если качество заметно хуже, значит, команда могла переобучиться на validation или данные были разделены неудачно.

Этот пример показывает, что validation нужна не только для «галочки», а для конкретных инженерных решений: какой алгоритм взять, когда остановить обучение и какой порог использовать в бизнес-процессе.

Заблуждения и ограничения

1. Валидационная выборка и тестовая выборка — не одно и то же

Частая ошибка — назвать тестом всё, что не участвовало в обучении. Но если по этой части данных принимались решения о модели, это уже validation, а не независимый тест.

2. На validation нельзя «дообучать» модель

Если данные validation используются для обновления весов, они фактически становятся частью train. Это допустимо только после завершения подбора, когда модель переобучают на объединённом train+validation перед финальным запуском, но не для честной оценки выбора.

3. Много проверок на validation тоже ведут к переобучению

Даже без прямого обучения можно постепенно подстроить процесс под конкретную validation-выборку: через десятки запусков, ручные правки признаков и повторный отбор моделей. Поэтому в серьёзных сценариях используют отдельный test и, при необходимости, вложенную кросс-валидацию.

4. Случайное разбиение подходит не всегда

Для временных рядов, рекомендательных систем, медданных, пользовательских событий и других зависимых наблюдений случайное перемешивание может создавать утечки. Нужны специальные схемы разбиения: по времени, по пользователям, по объектам, по сессиям.

5. При маленьких датасетах hold-out нестабилен

Если данных мало, результат может сильно зависеть от того, какие именно наблюдения попали в validation. В таких задачах лучше использовать k-fold кросс-валидацию, а для честного подбора гиперпараметров — nested cross-validation.

Ещё одно ограничение: валидационная выборка отражает только тот сценарий, который заложен в данных. Если в продакшене распределение изменится, даже аккуратная валидация не гарантирует прежнее качество.

Частые вопросы

Нужна ли валидационная выборка всегда?

Почти всегда, если вы подбираете модель или гиперпараметры. Исключение — очень маленькие датасеты, где отдельная validation слишком дорога; тогда обычно переходят к кросс-валидации.

Можно ли после подбора объединить train и validation?

Да, это распространённая практика: после выбора архитектуры и гиперпараметров модель переобучают на объединённых данных train+validation, а затем один раз проверяют на test. Но делать так до завершения выбора нельзя.

Какой размер валидационной выборки считать нормальным?

Универсального процента нет. Для больших датасетов часто хватает 10–20% данных. Для маленьких наборов важнее не доля сама по себе, а стабильность оценки; поэтому чаще выбирают кросс-валидацию.

Можно ли использовать validation для выбора порога классификации?

Да. Это один из типичных и корректных сценариев. Порог, максимизирующий F1, recall, прибыль или другую целевую метрику, обычно подбирают именно на validation, а не на train.

Чем validation отличается от кросс-валидации?

Validation в узком смысле — это конкретная отложенная часть данных. Кросс-валидация — это процедура многократного разбиения, где разные части по очереди играют роль validation. Она даёт более устойчивую оценку, но стоит дороже по времени вычислений.

Связанные понятия

• Обучающая выборка — данные для подгонки параметров модели.
• Тестовая выборка — независимый набор для финальной оценки после завершения всех решений.
• Кросс-валидация — схема многократной проверки качества на разных разбиениях данных.
• Гиперпараметры — настройки модели и обучения, которые не извлекаются напрямую из данных.
• Переобучение — ситуация, когда модель хорошо работает на известных данных, но хуже — на новых.
• Утечка данных — попадание информации из будущего или из целевой переменной в процесс обучения и валидации.
• Early stopping — остановка обучения по метрике на validation, чтобы не ухудшить обобщающую способность.
• Nested cross-validation — вложенная кросс-валидация для более честного подбора моделей и гиперпараметров.

Короткое правило: если по данным принимается решение о модели, это validation; если данные нужны только для одной финальной оценки после всех решений, это test.