COMRAD404 COMRAD404 ИИ-сигналы, агенты и практическая разведка

Тема

Масштабирование: статьи, новости и разборы

Статьи, новости и разборы по теме «Масштабирование»: ключевые события, понятные объяснения, практические материалы и проверенные источники COMRAD404.

В архиве 5 материалов

Материалы по теме

5 материалов
Схема trade-off в Chinchilla: фиксированный бюджет вычислений, выбор между числом параметров и количеством токенов, переход от Gopher к Chinchilla и сдвиг к over-training ради более дешёвого инференса
Исследования////9 мин чтения

Chinchilla и переобучение: почему модели «перекармливают»

Объясняем, что на самом деле показала работа Chinchilla от 29 марта 2022 года, почему многие LLM были недообучены по токенам и зачем в 2024-м снова заговорили о «перекорме» данных.

Открыть материал →
Схема трёх осей масштабирования LLM: данные, параметры и вычисления во время вывода, с влиянием на качество, стоимость и латентность
Исследования////12 мин чтения

Три оси масштабирования LLM: данные, параметры и вычисления вывода

Разбираем, почему масштабирование LLM больше не сводится к росту параметров. На основе работ 2020–2025 объясняем три рычага: данные, ёмкость модели и вычисления во время...

Открыть материал →
Схема, где плавное улучшение токеновых вероятностей LLM превращается в резкий скачок итоговой точности из-за пороговой метрики и низкого разрешения оценки
Исследования////13 мин чтения

«Эмерджентность — мираж?»: разбор Schaeffer et al. о внезапных способностях LLM

Schaeffer и коллеги утверждают: многие «внезапные способности» LLM могут быть не скачком модели, а эффектом метрики. Разбираем, что именно показала работа 2023 года и...

Открыть материал →