Perplexity (перплексия)
Перплексия — это метрика для causal language models, равная экспоненте среднего отрицательного log-likelihood на тестовом тексте.
Разобраться в терминеСловарь терминов ИИ и нейросетей
Словарь терминов искусственного интеллекта и нейросетей: определения, объяснения механизмов и ссылки на материалы по теме.
Pre-training (предобучение)
Pre-training — это обучение модели с нуля на большом корпусе данных, обычно self-supervised, чтобы затем использовать её как базу для дальнейшей адаптации.
Разобраться в терминеPrompt Injection (инъекция промпта)
Атака на LLM-приложение, при которой недоверенный ввод внедряет инструкции в общий контекст и меняет поведение модели.
Разобраться в терминеPrompt tuning (мягкий промпт)
Prompt tuning — это дообучение мягкого промпта (soft prompt embeddings) при замороженной базовой модели.
Разобраться в термине