Mixture of Experts (MoE)
Архитектура разреженных условных вычислений, где роутер выбирает лишь несколько экспертов для каждого токена или примера.
Разобраться в терминеСловарь терминов ИИ и нейросетей — страница 6
Словарь терминов искусственного интеллекта и нейросетей: определения, объяснения механизмов и ссылки на материалы по теме.
Model serving (сервинг модели)
Model serving — это слой ML-инфраструктуры, который публикует обученную модель как сервис для инференса и контролирует её готовность к запросам.
Разобраться в терминеMulti-Head Attention (многоголовое внимание)
Многоголовое внимание — это механизм трансформера, в котором несколько параллельных голов независимо вычисляют внимание по своим проекциям query, key и value, а затем объединяются в общий выход.
Разобраться в терминеNegative prompt (негативный промпт)
Текстовое условие в диффузионной генерации изображений, которое помогает модели избегать нежелательных концептов в результате.
Разобраться в терминеOpen Source в контексте ИИ
В контексте ИИ open source по версии OSI означает не только доступ к модели или весам, а сохранение свобод использовать, изучать, модифицировать и делиться, плюс публикацию артефактов, нужных для внесения изменений.
Разобраться в терминеOpen Weights (открытые веса)
Публично доступные веса модели, которые можно скачать и запускать, но без автоматического статуса open-source AI.
Разобраться в терминеOpen-source vs closed модели
Open-source и закрытые AI-модели различаются не только доступом к весам, но и лицензией, развертыванием, контролем данных и зависимостью от вендора.
Разобраться в терминеOutpainting
Outpainting — это дорисовка новых областей за пределами исходного изображения с попыткой сохранить стиль и контекст оригинальной сцены.
Разобраться в терминеPerplexity (перплексия)
Перплексия — это метрика для causal language models, равная экспоненте среднего отрицательного log-likelihood на тестовом тексте.
Разобраться в терминеPre-training (предобучение)
Pre-training — это обучение модели с нуля на большом корпусе данных, обычно self-supervised, чтобы затем использовать её как базу для дальнейшей адаптации.
Разобраться в термине