«Эмерджентность — мираж?»: разбор Schaeffer et al. о внезапных способностях LLM
Schaeffer и коллеги утверждают: многие «внезапные способности» LLM могут быть не скачком модели, а эффектом метрики. Разбираем, что именно показала...
Тема COMRAD404
Исследования искусственного интеллекта — страница 16
Глубокие исследования искусственного интеллекта: разборы papers, моделей, бенчмарков, безопасности, регулирования и механизмов работы.
GSM1k и утечки GSM8k: что реально показала работа Scale AI
Разбираем работу Scale AI о GSM1k — закрытом аналоге GSM8k для проверки утечек. Что именно показал бенчмарк, почему в источниках...
FrontierMath: разбор бенчмарка математики, которую модели почти не решали
Разбираем FrontierMath от Epoch AI в исторической версии 2024 года: как собрали задачи, почему ни одна модель не превышала 2%...
Humanity’s Last Exam: что реально измеряет «экзамен на пределе знаний»
Разбираем Humanity’s Last Exam — бенчмарк CAIS и Scale AI для закрытых вопросов экспертного уровня. Что в нём меряют, почему...
International AI Safety Report: где есть консенсус, а где спор
Первый International AI Safety Report от 29 января 2025 года — это не манифест о «судьбе человечества», а карта научных...
Длинный контекст против RAG: кто побеждает на практике
Сравниваем длинный контекст и RAG по первоисточникам 2024 года: где full-context действительно сильнее, где retrieval не сдал позиции, и почему...
Computer Use от Anthropic: как Claude 3.5 Sonnet управляет экраном
Разбираем запуск Computer Use от Anthropic 22 октября 2024 года: как Claude 3.5 Sonnet работает со скриншотами, почему упирается в...
Test-time compute: почему вычисление во время ответа стало новой осью масштабирования
Test-time compute — это отдельный дизайн вычислений на этапе ответа: sampling, ревизии, verifier и поиск. Разбираем, как работы 2024 года...
Gemini 1.5 и окно в 1–10 млн токенов: что это значило на практике
Разбираем исторический срез Gemini 1.5 в 2024 году: что Google DeepMind реально открыла разработчикам, где заканчивался продуктовый лимит и где...
Model collapse: что будет, если учить ИИ на ИИ
Разбор Nature-статьи Shumailov et al. о model collapse: почему рекурсивное обучение на данных от ИИ стирает хвосты распределения, что показали...