Perplexity (перплексия)
Перплексия (PPL) — метрика для autoregressive языковых моделей: это экспонента среднего отрицательного log-likelihood. Разбираем формулу, sliding-window оценку и типичные ошибки сравнения.
Открыть →Короткие и проверяемые определения терминов.
Перплексия (PPL) — метрика для autoregressive языковых моделей: это экспонента среднего отрицательного log-likelihood. Разбираем формулу, sliding-window оценку и типичные ошибки сравнения.
Открыть →Pre-training, или предобучение, — это обучение модели с нуля на большом корпусе данных, обычно self-supervised, чтобы затем донастроить её под конкретную задачу.
Открыть →Prompt injection — атака на LLM-приложение, где внешнее содержимое внедряет новые инструкции в контекст и меняет ответ модели. Ниже — прямые и косвенные сценарии и меры защиты по NIST, OWASP, MITRE и OpenAI.
Открыть →Prompt tuning — это способ дообучить только мягкий промпт, оставив базовую модель замороженной. Разбираем схему, отличие от full fine-tuning, применение и ограничения.
Открыть →