COMRAD404 / GLOSSARY

Обучение с учителем

Обучение с учителем — подход ML, где модель учится на размеченных примерах и затем предсказывает класс или число для новых данных.

Обучение с учителем — это подход машинного обучения, в котором модель учится на размеченных примерах: для каждого объекта заранее известен правильный ответ. На практике это базовый способ решать задачи классификации и регрессии, когда можно собрать историю входных данных и целевых значений. Метод плохо подходит, если разметки мало, она шумная или дорогая, если нужно находить неизвестные классы без заранее заданной цели, а также если поведение данных быстро меняется и метки устаревают быстрее, чем модель успевает переобучаться.

Простыми словами

Если упростить, обучение с учителем похоже на разбор примеров с проверкой. Вы показываете модели объекты и правильные ответы, а она подстраивает параметры так, чтобы в следующий раз отвечать верно на похожих данных.

Есть два основных типа задач:

  • Классификация — выбрать категорию. Например, спам или не спам, одобрить заявку или отклонить, определить тему обращения.
  • Регрессия — предсказать число. Например, выручку, время доставки, вероятность оттока, стоимость заказа.

Ключевое слово здесь — разметка. Без целевой переменной, то есть без известного правильного ответа, обучение с учителем невозможно в чистом виде.

Как это работает

У задачи есть входы и цель. Входы обычно называют признаками, а правильный ответ — целевой переменной или меткой. Модель ищет зависимость между признаками и целью на исторических данных, а затем применяет найденную зависимость к новым объектам.

  1. Сбор данных. Нужны примеры, где известны и признаки, и правильный ответ.
  2. Подготовка. Данные очищают, согласуют форматы, заполняют пропуски, кодируют категории, нормализуют числовые признаки, убирают дубликаты и проверяют качество разметки.
  3. Разделение выборки. Обычно данные делят на обучающую, валидационную и тестовую части. Это нужно, чтобы не оценивать модель на тех же данных, на которых она училась.
  4. Обучение. Алгоритм минимизирует ошибку между предсказанием и правильным ответом. Для этого используют функцию потерь и процедуру оптимизации.
  5. Оценка. Для классификации смотрят, например, accuracy, precision, recall, F1, ROC AUC. Для регрессии — MAE, RMSE, R2. Метрика должна соответствовать цене ошибки в бизнесе.
  6. Внедрение и мониторинг. После запуска модель нужно контролировать: проверять деградацию качества, дрейф признаков, изменение частот классов и задержки.

Что именно учится предсказывать

Тип задачи Выход модели Пример
Классификация Класс или вероятность класса Категория тикета поддержки
Регрессия Числовое значение Оценка времени закрытия заявки

Что важно на практике

  • Качество разметки важнее объема. Большой, но шумный датасет может дать худший результат, чем меньший, но аккуратно размеченный.
  • Нельзя допускать утечку данных. Признаки не должны содержать информацию из будущего или из самого ответа.
  • Дисбаланс классов меняет выбор метрики. Если редкий класс критичен, одной accuracy почти всегда недостаточно.
  • Модель должна соответствовать режиму использования. Для real-time и для пакетного прогноза допустимы разные компромиссы по скорости и точности.

Зачем нужно

Обучение с учителем нужно там, где уже есть исторические решения или наблюдения с известным исходом. Это позволяет автоматизировать рутинный выбор, стандартизировать принятие решений и быстрее обрабатывать большой поток однотипных объектов.

Наиболее типичные сценарии:

  • антиспам и модерация контента;
  • скоринг и оценка риска;
  • прогноз спроса, выручки, времени выполнения;
  • маршрутизация обращений и документов;
  • медицинская и промышленная диагностика при наличии качественной разметки;
  • поиск дефектов на изображениях и в сенсорных данных.

С практической точки зрения ценность метода в том, что он дает измеримый результат: можно заранее определить метрику, сравнить несколько моделей, поставить базовый уровень и понять, есть ли эффект после внедрения.

Но это работает только при одном условии: цель должна быть формализована. Если команда не может однозначно ответить, что считается правильным результатом, обучение с учителем быстро превращается в борьбу с некачественной разметкой и конфликтующими правилами.

Пример

Практический пример — автоматическая маршрутизация обращений техподдержки по очередям: billing, access, bug, feature_request.

У компании уже есть история тикетов, где оператор вручную выбирал нужную очередь. Эти архивные записи и становятся обучающей выборкой. В качестве признаков можно взять тему письма, текст обращения, продукт, язык, канал поступления, регион, тип клиента и некоторые технические поля.

  1. Сначала команда выгружает тикеты за несколько месяцев и чистит данные: удаляет системные шаблоны, объединяет дубликаты, исправляет случаи, когда одна и та же проблема получала разные метки.
  2. Затем выделяет обучающую и тестовую выборки по времени, чтобы тест имитировал реальные новые обращения, а не случайные записи из прошлого.
  3. После этого обучает модель классификации и считает не только общую точность, но и macro F1, потому что классы распределены неравномерно: обращений по биллингу много, а по багам меньше.
  4. На этапе внедрения вводит порог уверенности: если вероятность лучшего класса ниже заданного уровня, тикет не маршрутизируется автоматически, а уходит оператору.

Такой подход полезен сразу по нескольким причинам. Во-первых, он сокращает время первичной обработки. Во-вторых, снижает число ошибок из-за ручной сортировки. В-третьих, позволяет измерять качество по доле корректно направленных тикетов и по времени до первого ответа.

Где здесь ограничения? Если продуктовая линейка часто меняется, появляются новые типы обращений, а команды переименовывают очереди, разметка быстро устаревает. Тогда модель нужно переобучать, а схему меток — пересматривать. Если этого не делать, система начнет уверенно ошибаться на новых сценариях.

Заблуждения и ограничения

  • «Достаточно собрать побольше данных». Не всегда. Если метки шумные, правила разметки неустойчивы или классы определены расплывчато, рост объема не исправит фундаментальную проблему.
  • «Высокая метрика на тесте гарантирует успех в проде». Нет. В проде меняются входные распределения, появляются новые типы объектов, а пользователи адаптируются к системе.
  • «Любую задачу можно решить классификацией». Нет. Иногда сама постановка ошибочна: цель не бинарна, исход зависит от будущих факторов или ответ неоднозначен даже для экспертов.
  • «Модель объективна по определению». Нет. Она воспроизводит закономерности и перекосы обучающих данных. Если исторические решения были смещены, модель перенесет это смещение в автоматизацию.
  • «Разметка — разовый этап». Нет. Для живых систем это постоянный процесс: нужны аудит меток, обновление схемы классов и контроль качества аннотации.

Главные ограничения метода для практики:

  • нужны размеченные данные, а их сбор может быть дорогим и медленным;
  • модель зависит от стабильности цели и признаков во времени;
  • редкие, но важные случаи часто представлены плохо;
  • неизвестные классы и новые типы объектов модель обычно не открывает сама;
  • ошибки в разметке и утечки данных легко создают иллюзию высокого качества.

Поэтому обучение с учителем не лучший выбор, когда задача исследовательская, структура данных заранее не ясна или цель еще не определена. В таких случаях сначала полезнее методы без учителя, экспертные правила, активное обучение или пилотный сбор разметки.

Частые вопросы

Чем обучение с учителем отличается от обучения без учителя?

В обучении с учителем есть правильные ответы для каждого примера. В обучении без учителя модель ищет структуру в данных без заранее заданной цели: кластеры, аномалии, компактные представления.

Сколько данных нужно для старта?

Универсального числа нет. Важнее разнообразие примеров, стабильность разметки и корректная оценка на отложенных данных. Для пилота часто достаточно ограниченного, но чистого датасета, если классы и сценарии представлены реалистично.

Можно ли снизить стоимость разметки?

Да. Обычно помогают активное обучение, слабая разметка, полуавтоматическая предразметка, перенос обучения и приоритизация самых ценных примеров. Но полностью заменить контроль качества разметки эти методы не могут.

Как понять, что модель деградировала после запуска?

Нужно мониторить продуктовые метрики, контрольную выборку с новой ручной разметкой, распределения признаков, частоты классов и долю низкоуверенных предсказаний. Если поведение данных меняется, модель следует переоценить и, возможно, переобучить.

Связанные понятия

  • Классификация — задача предсказания категории.
  • Регрессия — задача предсказания числового значения.
  • Признаки — входные переменные, по которым модель делает вывод.
  • Целевая переменная — правильный ответ, который модель должна предсказывать.
  • Переобучение — ситуация, когда модель слишком хорошо запоминает обучающие данные и хуже работает на новых.
  • Дисбаланс классов — перекос в распределении меток, при котором редкие классы оказываются недопредставлены.
  • Обучение без учителя — подход без размеченной цели, полезный для сегментации, поиска аномалий и исследования структуры данных.
  • Полуобучение — комбинация небольшого числа размеченных данных и большого числа неразмеченных.

Читайте также

LINKS