Epoch, batch и iteration
Epoch, batch и iteration — базовые единицы цикла обучения модели: полный проход по данным, размер пакета и число шагов обновления весов.
Открыть →Глоссарий ИИ
Короткие и проверяемые определения терминов.
Функция потерь (loss function)
Функция потерь измеряет, насколько предсказания модели расходятся с правильными ответами. По ней обучают модель, но выбирать её нужно под тип задачи и цену ошибок.
Открыть →Гиперпараметры
Гиперпараметры — это внешние настройки модели и процесса обучения. Разбираем отличие от параметров, методы подбора, пример и основные ограничения.
Открыть →Квантизация
Квантизация уменьшает точность чисел в модели, чтобы сократить память и ускорить инференс. Разбираем INT8, калибровку, риски для качества и выбор подхода.
Открыть →Дистилляция моделей
Дистилляция моделей — это перенос поведения большой нейросети в меньшую, чтобы ускорить вывод и снизить стоимость эксплуатации с умеренной потерей качества.
Открыть →Инференс (inference)
Инференс — это применение уже обученной модели к новым данным: тексту, изображению, аудио или табличным признакам, чтобы получить ответ, класс, вероятность или сгенерированный результат.
Открыть →LoRA (низкоранговая адаптация)
LoRA — способ дообучать большие модели, обучая небольшие матрицы поверх замороженных весов. Это снижает требования к памяти и упрощает выпуск адаптеров.
Открыть →RLHF (обучение с обратной связью от человека)
RLHF — способ постобучения моделей по человеческим предпочтениям. Разбираем схему, пользу, ограничения и практический пример для продуктовых команд.
Открыть →Файн-тюнинг (fine-tuning): что это
Файн-тюнинг — это дообучение базовой модели на ваших примерах, чтобы она лучше держала формат, стиль и задачу. Для свежих знаний чаще нужен RAG.
Открыть →Претрейнинг (pre-training): что это
Претрейнинг — это предварительное обучение модели на большой общей задаче перед адаптацией под конкретную. Он снижает требования к разметке, но дорог и не всегда уместен.
Открыть →