Distributed training (распределённое обучение)
Распределённое обучение — это запуск обучения модели на нескольких устройствах или узлах с координацией состояния. Разбираем DDP, tf.distribute, JAX, Ray Train и типичные ошибки трактовки.
Открыть →Глоссарий ИИ
Короткие и проверяемые определения терминов.
DPO (Direct Preference Optimization, прямая оптимизация предпочтений)
DPO (Direct Preference Optimization) — метод посттренировки языковой модели по данным предпочтений без отдельной reward model. Ниже — простое объяснение, схема работы, пример с TRL и важные ограничения.
Открыть →