Prompt Injection (инъекция промпта)
Атака на LLM-приложение, при которой недоверенный ввод внедряет инструкции в общий контекст и меняет поведение модели.
Разобраться в терминеСловарь терминов ИИ и нейросетей — страница 7
Словарь терминов искусственного интеллекта и нейросетей: определения, объяснения механизмов и ссылки на материалы по теме.
Prompt tuning (мягкий промпт)
Prompt tuning — это дообучение мягкого промпта (soft prompt embeddings) при замороженной базовой модели.
Разобраться в терминеQLoRA: что это и как работает
Метод дообучения LLM: базовая модель хранится в 4-битной квантизации, а обучаются только LoRA-адаптеры.
Разобраться в терминеRAG (Retrieval-Augmented Generation)
Паттерн, в котором модель извлекает релевантные внешние данные во время запроса и затем генерирует ответ с их учетом.
Разобраться в терминеReAct (Reasoning + Acting)
ReAct — это паттерн агентного взаимодействия, где модель чередует промежуточное рассуждение с действиями во внешних инструментах и использует их результаты как новые наблюдения.
Разобраться в терминеReasoning model (модель рассуждений)
Модель рассуждений — это модель, ориентированная на сложные многошаговые задачи и способная тратить дополнительные reasoning tokens до финального ответа.
Разобраться в терминеRed Teaming
Структурированное тестирование ИИ для выявления уязвимостей, нежелательного поведения и рисков злоупотребления.
Разобраться в терминеReranking (переранжирование)
Reranking — это второй этап поиска, при котором система пересортировывает уже найденные документы по смысловой релевантности к конкретному запросу.
Разобраться в терминеRLAIF (Reinforcement Learning from AI Feedback)
Этап обучения с подкреплением, где сигнал вознаграждения получают из модели предпочтений, обученной на AI-сгенерированных сравнениях ответов вместо человеческих меток.
Разобраться в терминеRLHF (Reinforcement Learning from Human Feedback)
RLHF — это постобучение модели по человеческим предпочтениям: люди оценивают ответы, из этих оценок обучают reward model, а затем улучшают поведение модели через RL.
Разобраться в термине