Инструкционное обучение (Instruction Tuning)
Инструкционное обучение — это дообучение LLM на парах «инструкция → ответ», чтобы модель лучше следовала запросам пользователя. Ниже — простое...
Последние публикации
Об авторе
DPO (Direct Preference Optimization, прямая оптимизация предпочтений)
DPO (Direct Preference Optimization) — метод посттренировки языковой модели по данным предпочтений без отдельной reward model. Ниже — простое объяснение,...
Few-shot prompting: что это и как работает
Few-shot prompting — это способ задать модели несколько примеров прямо в prompt, чтобы она уловила задачу, формат или стиль ответа...
Генеративная модель (Generative Model)
Генеративная модель — это класс моделей, которые учатся распределению данных или латентной структуре и затем создают новые образцы. Ниже —...
Microsoft Orchard: почему среда обучения стала частью ИИ-агента
Microsoft Orchard — не новая LLM, а framework, в котором среда, harness, данные и механизм выбора ответа образуют один агентный...
Поддержка клиентов +14%? Что на самом деле показала Generative AI at Work
Известная история про «+14% в поддержке клиентов» оказалась чуть сложнее: в ранней рабочей версии — около 14%, в публикации QJE...
Jamba и гибриды SSM+attention: разбор архитектуры AI21 образца 2024 года
Разбираем paper Jamba от AI21 от 28 марта 2024 года: зачем смешивать Mamba, attention и MoE, что показали бенчмарки, где...
Полностью открытые: что показали OLMo 2 и датасет Dolma
Разбираем, как AI2 связала открытый корпус Dolma, двухэтапное обучение OLMo 2 и публикацию всех артефактов — от данных и кода...
Llama 3.1 405B: действительно ли открытые веса догнали фронтир
23 июля 2024 года Meta выпустила Llama 3.1 405B и заявила, что открытая модель уровня frontier наконец сравнялась с закрытыми...
GenCast и GraphCast: как ИИ обошёл эталонные метеомодели ECMWF
Разбираем две ключевые погодные работы DeepMind — GraphCast и GenCast. Где ML действительно обошёл ECMWF, почему сравнение с HRES и...
FlashAttention-3: почему внимание стало быстрее на Hopper
Разбираем статью FlashAttention-3 от 11 июля 2024 года: как авторы переписали exact attention под NVIDIA Hopper, зачем нужны TMA, WGMMA...
Constitutional AI и RLAIF: как работает обучение по «конституции»
Разбираем историческую схему Anthropic: что такое Constitutional AI, как RLAIF заменяет часть человеческой обратной связи, где метод полезен и в...