Короткие и проверяемые определения терминов.
Gradient accumulation — накопление градиентов на нескольких mini-batch перед одним шагом optimizer. Техника помогает получить больший effective batch size при ограниченной памяти, но не даёт выигрыша по throughput по сравнению с настоящим большим batch.
Открыть →Adapter layers — это небольшие обучаемые модули, которые вставляют в слои Transformer, чтобы дообучать модель без изменения всех исходных весов. Ниже — узкое и широкое значение термина, схема работы, практический workflow и отличия от других PEFT-подходов.
Открыть →BPE (Byte Pair Encoding) — способ субсловной токенизации, где словарь строится через слияние частых пар. Объясняем механику, применение в LLM и проверку токенов через tiktoken, Hugging Face и SentencePiece.
Открыть →Beam search — стратегия декодирования, где модель удерживает несколько лучших продолжений сразу и расширяет их шаг за шагом. Ниже — схема работы, параметры num_beams и отличие от greedy search.
Открыть →Интерпретируемость в ИИ — это способы понять, почему модель выдала конкретный ответ: от атрибуций входа до анализа внутренних вычислений трансформера.
Открыть →Объяснимость в ИИ — это способность системы дать человеку понятное объяснение результата. Ниже — трактовки NIST и OECD, отличие от interpretability и практические способы применения SHAP, Captum и Azure ML.
Открыть →Fairness — это не одна формула, а проверка того, не вредит ли модель разным группам по-разному. Разбираем метрики, сравнение подгрупп и практическую оценку.
Открыть →ASI (Artificial Superintelligence) — термин для будущего ИИ, который превосходит человека почти во всех когнитивных задачах. Ниже — простое объяснение, отличие от AGI и почему сегодня ASI обсуждают прежде всего в контексте безопасности, надзора и координации.
Открыть →Outpainting — это расширение изображения за пределы исходных границ: модель дорисовывает новые области по описанию и старается сохранить стиль сцены. Ниже — простое объяснение, текущий стек OpenAI и практические ограничения.
Открыть →CFG (Classifier-Free Guidance) — способ направлять генерацию в diffusion-моделях без отдельного classifier. Ниже — простое объяснение, формула из Diffusers, роль guidance_scale, отличия и ограничения.
Открыть →