Backpropagation (обратное распространение)
Обратное распространение — способ быстро вычислять градиенты функции потерь по параметрам сети. Разбираем цепное правило, этапы расчёта и ограничения.
Открыть →Глоссарий ИИ
Короткие и проверяемые определения терминов.
Base model vs instruct model: чем отличаются базовая и instruct-модель
Base model предсказывает следующий токен, instruct model дополнительно обучена следовать инструкциям. Разница определяет выбор модели, промпт и ограничения.
Открыть →Batching (пакетная обработка)
Batching, или пакетная обработка, — это групповая отправка и обработка данных одним блоком вместо поштучного режима. Термин перегружен: он может означать batch jobs, message batching, micro-batching и batch API.
Открыть →Beam Search
Beam search — стратегия декодирования, где модель удерживает несколько лучших продолжений сразу и расширяет их шаг за шагом. Ниже — схема работы, параметры num_beams и отличие от greedy search.
Открыть →Bias (смещение)
Bias (смещение) в ИИ — систематический перекос или фаворитизм, который может идти из правил, данных, алгоритмов и человеческих решений. Ниже — трактовка NIST, три категории bias, проверка по подгруппам и отличие от ML-термина bias.
Открыть →BPE (Byte Pair Encoding)
BPE (Byte Pair Encoding) — способ субсловной токенизации, где словарь строится через слияние частых пар. Объясняем механику, применение в LLM и проверку токенов через tiktoken, Hugging Face и SentencePiece.
Открыть →