Как делают окно в миллион токенов: RoPE, YaRN и ring-attention
Разбираем, из каких частей собирают длинный контекст в LLM: что делает RoPE, зачем нужны YaRN и LongRoPE, и почему без blockwise/ring-attention миллион токенов не...
Открыть материал →
Исследования ИИ: технологии, модели и бенчмарки
133 материаловГлубокие исследования искусственного интеллекта: разборы papers, моделей, бенчмарков, безопасности, регулирования и механизмов работы.
Stable Diffusion 3 и MMDiT: почему стало лучше с текстом
Разбираем работу Stability AI от 5 марта 2024 года: как MMDiT, синтетические подписи и стек текстовых энкодеров сделали Stable Diffusion 3 заметно сильнее в...
Открыть материал →
RSP, Preparedness и FSF: как устроены рамки безопасности frontier AI
Разбираем три главные корпоративные рамки безопасности frontier AI — Anthropic RSP, OpenAI Preparedness Framework и Google DeepMind FSF: пороги риска, evals, mitigations, governance и...
Открыть материал →
Many-shot jailbreak: взлом через длинный контекст
Разбор работы Anthropic от 2 апреля 2024 о many-shot jailbreak: почему длинный контекст стал новым вектором обхода защит LLM, что именно измеряли авторы и...
Открыть материал →
Weak-to-strong: слабый учитель для сильной модели — разбор работы OpenAI
Разбор Weak-to-Strong Generalization от OpenAI: как слабая модель может вытягивать более сильную, зачем нужен PGR, где метод сработал, а где провалился, и что это...
Открыть материал →
DPO и его наследники: как выглядит RLHF без отдельной reward-модели
Разбираем, как DPO заменил связку reward model и PPO одним loss-функционалом и зачем затем появились KTO, ORPO и SimPO. Где упрощение реально помогает, а...
Открыть материал →
«Lost in the middle»: почему модель теряет середину контекста
Разбираем, что именно показала работа Lost in the Middle, почему длинное окно не гарантирует использование всех фрагментов и как это меняет дизайн RAG-систем.
Открыть материал →
Self-RAG и Corrective RAG: как работает самопроверка в RAG
Разбираем две ключевые работы 2023–2024 годов о самопроверке RAG: Self-RAG учит модель решать, когда искать и как критиковать ответ, а CRAG исправляет неудачный retrieval...
Открыть материал →
Repeated sampling: дешёвый способ поднять качество LLM
Brown et al. показали, что множество независимых попыток может заметно поднять качество LLM без нового обучения. Разбираем repeated sampling, результаты на SWE-bench Lite и...
Открыть материал →
«Let’s Verify Step by Step»: как награда за каждый шаг меняет проверку рассуждений
Разбираем работу OpenAI Let’s Verify Step by Step: зачем давать награду не только за финальный ответ, но и за каждый шаг решения, как устроен...
Открыть материал →