Дистилляция DeepSeek-R1: как R1 «упаковали» в модели 1.5B–70B
Разбираем первый релиз DeepSeek-R1 от 20 января 2025 года: что именно дистиллировали в Qwen и Llama, какие результаты показали модели...
Тема COMRAD404
Исследования искусственного интеллекта — страница 14
Глубокие исследования искусственного интеллекта: разборы papers, моделей, бенчмарков, безопасности, регулирования и механизмов работы.
Как делают окно в миллион токенов: RoPE, YaRN и ring-attention
Разбираем, из каких частей собирают длинный контекст в LLM: что делает RoPE, зачем нужны YaRN и LongRoPE, и почему без...
Stable Diffusion 3 и MMDiT: почему стало лучше с текстом
Разбираем работу Stability AI от 5 марта 2024 года: как MMDiT, синтетические подписи и стек текстовых энкодеров сделали Stable Diffusion...
RSP, Preparedness и FSF: как устроены рамки безопасности frontier AI
Разбираем три главные корпоративные рамки безопасности frontier AI — Anthropic RSP, OpenAI Preparedness Framework и Google DeepMind FSF: пороги риска,...
Many-shot jailbreak: взлом через длинный контекст
Разбор работы Anthropic от 2 апреля 2024 о many-shot jailbreak: почему длинный контекст стал новым вектором обхода защит LLM, что...
Weak-to-strong: слабый учитель для сильной модели — разбор работы OpenAI
Разбор Weak-to-Strong Generalization от OpenAI: как слабая модель может вытягивать более сильную, зачем нужен PGR, где метод сработал, а где...
DPO и его наследники: как выглядит RLHF без отдельной reward-модели
Разбираем, как DPO заменил связку reward model и PPO одним loss-функционалом и зачем затем появились KTO, ORPO и SimPO. Где...
«Lost in the middle»: почему модель теряет середину контекста
Разбираем, что именно показала работа Lost in the Middle, почему длинное окно не гарантирует использование всех фрагментов и как это...
Self-RAG и Corrective RAG: как работает самопроверка в RAG
Разбираем две ключевые работы 2023–2024 годов о самопроверке RAG: Self-RAG учит модель решать, когда искать и как критиковать ответ, а...
Repeated sampling: дешёвый способ поднять качество LLM
Brown et al. показали, что множество независимых попыток может заметно поднять качество LLM без нового обучения. Разбираем repeated sampling, результаты...