«Lost in the middle»: почему модель теряет середину контекста
Разбираем, что именно показала работа Lost in the Middle, почему длинное окно не гарантирует использование всех фрагментов и как это...
Последние публикации
Об авторе
Self-RAG и Corrective RAG: как работает самопроверка в RAG
Разбираем две ключевые работы 2023–2024 годов о самопроверке RAG: Self-RAG учит модель решать, когда искать и как критиковать ответ, а...
Circuit tracing: как Anthropic пытается проследить «мысли» модели
Anthropic в марте 2025 показала circuit tracing — способ собирать граф внутренних вычислений LLM. Разбираем, как работают attribution graphs, что...
FrontierMath: разбор бенчмарка математики, которую модели почти не решали
Разбираем FrontierMath от Epoch AI в исторической версии 2024 года: как собрали задачи, почему ни одна модель не превышала 2%...
Длинный контекст против RAG: кто побеждает на практике
Сравниваем длинный контекст и RAG по первоисточникам 2024 года: где full-context действительно сильнее, где retrieval не сдал позиции, и почему...
Computer Use от Anthropic: как Claude 3.5 Sonnet управляет экраном
Разбираем запуск Computer Use от Anthropic 22 октября 2024 года: как Claude 3.5 Sonnet работает со скриншотами, почему упирается в...
Gemini 1.5 и окно в 1–10 млн токенов: что это значило на практике
Разбираем исторический срез Gemini 1.5 в 2024 году: что Google DeepMind реально открыла разработчикам, где заканчивался продуктовый лимит и где...
GPQA: как устроен benchmark с вопросами, которые не гуглятся
Разбор GPQA — benchmark Rein et al. для graduate-level science QA, где вопросы проверяют пределы веб-поиска, экспертной верификации и supervision...
Sora: как OpenAI представила видео как «патчи» пространства-времени
Разбираем февральский отчет OpenAI о Sora: зачем видео сжимают в латенты, как из них делают пространственно-временные патчи, почему это похоже...
Sleeper Agents: как Anthropic показала спящие бэкдоры, пережившие обучение
Разбор январской работы Anthropic о sleeper agents — намеренно внедрённых бэкдорах в LLM, которые могут переживать RL, SFT и adversarial...
Scaling Monosemanticity: как Anthropic заглянула внутрь Claude 3 Sonnet
Разбираем работу Anthropic от 21 мая 2024 о том, как sparse autoencoders извлекают миллионы интерпретируемых признаков из Claude 3 Sonnet,...
DeepSeek-R1: что на самом деле значит «рассуждение из чистого RL»
Разбираем DeepSeek-R1 в исторической рамке релиза января 2025 года: что именно было обучено чистым RL, зачем понадобились cold-start и SFT,...