GSM1k и утечки GSM8k: что реально показала работа Scale AI
Разбираем работу Scale AI о GSM1k — закрытом аналоге GSM8k для проверки утечек. Что именно показал бенчмарк, почему в источниках расходятся цифры 13% и...
Открыть материал →
Исследования ИИ: технологии, модели и бенчмарки
133 материаловГлубокие исследования искусственного интеллекта: разборы papers, моделей, бенчмарков, безопасности, регулирования и механизмов работы.
FrontierMath: разбор бенчмарка математики, которую модели почти не решали
Разбираем FrontierMath от Epoch AI в исторической версии 2024 года: как собрали задачи, почему ни одна модель не превышала 2% и какие ограничения бенчмарка...
Открыть материал →
Humanity’s Last Exam: что реально измеряет «экзамен на пределе знаний»
Разбираем Humanity’s Last Exam — бенчмарк CAIS и Scale AI для закрытых вопросов экспертного уровня. Что в нём меряют, почему первые модели застряли ниже...
Открыть материал →
International AI Safety Report: где есть консенсус, а где спор
Первый International AI Safety Report от 29 января 2025 года — это не манифест о «судьбе человечества», а карта научных согласий и разногласий о...
Открыть материал →
Длинный контекст против RAG: кто побеждает на практике
Сравниваем длинный контекст и RAG по первоисточникам 2024 года: где full-context действительно сильнее, где retrieval не сдал позиции, и почему в продакшене чаще выигрывает...
Открыть материал →
Computer Use от Anthropic: как Claude 3.5 Sonnet управляет экраном
Разбираем запуск Computer Use от Anthropic 22 октября 2024 года: как Claude 3.5 Sonnet работает со скриншотами, почему упирается в пиксели и что реально...
Открыть материал →
Test-time compute: почему вычисление во время ответа стало новой осью масштабирования
Test-time compute — это отдельный дизайн вычислений на этапе ответа: sampling, ревизии, verifier и поиск. Разбираем, как работы 2024 года превратили эту идею в...
Открыть материал →
Gemini 1.5 и окно в 1–10 млн токенов: что это значило на практике
Разбираем исторический срез Gemini 1.5 в 2024 году: что Google DeepMind реально открыла разработчикам, где заканчивался продуктовый лимит и где начинался исследовательский стресс-тест на...
Открыть материал →
Model collapse: что будет, если учить ИИ на ИИ
Разбор Nature-статьи Shumailov et al. о model collapse: почему рекурсивное обучение на данных от ИИ стирает хвосты распределения, что показали эксперименты на OPT-125m и...
Открыть материал →
AlphaFold 3: от белков к комплексам с ДНК и лекарствами
Разбор AlphaFold 3 по статье Nature 2024 и материалам DeepMind: что изменилось в архитектуре, как модель перешла от одиночных белков к комплексам с ДНК,...
Открыть материал →