Constitutional AI (CAI)
Constitutional AI — это подход Anthropic к выравниванию моделей через письменную «конституцию» принципов, самокритику и пересмотр ответов, а затем обучение на AI feedback.
Открыть →Глоссарий ИИ
Короткие и проверяемые определения терминов.
Аугментация данных (Data Augmentation)
Аугментация данных помогает обучать модели на более разнообразных примерах без ручного сбора новых данных. Показываем схему работы, типичные сценарии и ограничения для практики.
Открыть →QLoRA: что это и как работает
QLoRA — это способ дообучать большие языковые модели в 4-битной квантизации: база остаётся замороженной, а обучаются только LoRA-адаптеры. Разбираем, как это устроено, где применяется и какие у метода ограничения.
Открыть →Perplexity (перплексия)
Перплексия (PPL) — метрика для autoregressive языковых моделей: это экспонента среднего отрицательного log-likelihood. Разбираем формулу, sliding-window оценку и типичные ошибки сравнения.
Открыть →Авторегрессивная модель (autoregressive model)
Авторегрессивная модель генерирует текст слева направо: каждый новый токен предсказывается по уже видимому левому контексту. Разбираем механику, применение и ограничения.
Открыть →Позиционное кодирование (Positional Encoding)
Позиционное кодирование (Positional Encoding) передает трансформеру порядок токенов, которого нет в самом attention. В статье — простое объяснение, схема работы, различия между синусоидами, learned embeddings, RoPE и ALiBi, а также их ограничения.
Открыть →Zero-shot prompting
Zero-shot prompting — это постановка задачи языковой модели без примеров. Разбираем, как этот режим работает, когда его хватает, чем он отличается от few-shot и почему не существует одного «лучшего» промпта.
Открыть →Top-p / Nucleus Sampling
Top-p, или nucleus sampling, — стратегия генерации, при которой модель выбирает следующий токен из минимального набора кандидатов с суммарной вероятностью не ниже порога p. Ниже — простое объяснение, схема работы, отличия от top-k и temperature, а также практические ограничения в OpenAI и Hugging Face.
Открыть →Multi-Head Attention (многоголовое внимание)
Multi-Head Attention — механизм трансформера с несколькими параллельными головами внимания: они по-разному проецируют query, key и value, а затем объединяются в общий выход.
Открыть →Тестовая выборка (Test Set)
Тестовая выборка (test set) — это отложенная часть данных, которую не используют для обучения и настройки модели. Она нужна для финальной проверки качества на новых, ранее невидимых примерах.
Открыть →