Масштабирование

Chinchilla и переобучение: почему модели «перекармливают»

Объясняем, что на самом деле показала работа Chinchilla от 29 марта 2022 года, почему многие LLM были недообучены по токенам...

Стена данных: когда закончится текст для обучения ИИ

Разбираем отчёт Epoch AI 2024 о «стене данных»: как авторы оценивали запас публичного человеческого текста, почему получили окно 2026-2032 и...

«Physics of Language Models»: сколько знаний помещается в параметрах LLM

Разбираем работу Meta и MBZUAI о том, как измерять ёмкость знаний LLM в битах на параметр: что означает предел 2...

Три оси масштабирования LLM: данные, параметры и вычисления вывода

Разбираем, почему масштабирование LLM больше не сводится к росту параметров. На основе работ 2020–2025 объясняем три рычага: данные, ёмкость модели...

«Эмерджентность — мираж?»: разбор Schaeffer et al. о внезапных способностях LLM

Schaeffer и коллеги утверждают: многие «внезапные способности» LLM могут быть не скачком модели, а эффектом метрики. Разбираем, что именно показала...