В 2024 году Epoch AI обновила одну из самых цитируемых линий анализа в ИИ: как быстро растёт объём вычислений при обучении моделей. Популярная формула «вычисления удваиваются каждые полгода» оказалась не универсальным законом, а коротким пересказом нескольких близких, но разных рядов данных.
Это важно, потому что в публичных обсуждениях часто смешивают вычисления при обучении, вычисления при выводе, мировой запас AI-чипов, стоимость обучения и энергопотребление. У Epoch, OpenAI и Stanford AI Index речь идёт о разных срезах, и без этого уточнения цифра легко вводит в заблуждение.
Коротко
- Исторический мем про быстрый рост compute пошёл от OpenAI, 2018: для крупнейших training runs с 2012 по 2018 год там получалась оценка удвоения за 3,4 месяца.
- Epoch / IJCNN 2022 показала, что одной цифры уже недостаточно: для post-2010 deep learning era получалось примерно полгода, а для отдельной ветки large-scale models с конца 2015–2016 годов — медленнее, около 10 месяцев.
- В обновлении Epoch 2024 и последующих сводках корректнее говорить так: training compute заметных и frontier-моделей растёт примерно в диапазоне 4–5x в год, то есть грубо удваивается за 5–6 месяцев; для frontier language models с 2020 года Epoch пишет о 5x в год.
- Эта оценка относится к вычислениям при обучении в FLOP, а не к inference, не к числу GPU в мире и не к энергопотреблению как таковому.
- Тренд полезен как индикатор масштаба инвестиций и инфраструктуры, но он зависит от выбора выборки, периода, способа оценки compute и полноты публичных раскрытий.
Контекст
Если коротко, тезис про «полгода» имеет три разных исторических слоя. Первый — это OpenAI: AI and compute от 2018 года. Там анализировались крупнейшие AI training runs, и для периода с 2012 по 2018 год авторы получили удвоение примерно за 3,4 месяца. Позднее эту же оценку в явном виде пересказывал CSET, что делает её хорошей исторической отправной точкой.
Второй слой — Compute Trends Across Three Eras of Machine Learning от команды Epoch. Эта работа не просто «обновила» старую кривую, а разделила историю на несколько режимов роста. Авторы показали, что после 2010 года рост training compute можно описывать примерно полугодовым удвоением, но при этом с конца 2015–2016 годов выделяется отдельная ветка large-scale models, для которой темп уже ближе к 10 месяцам.
Третий слой — материалы Epoch 2024 года. В коротком data insight The training compute of notable AI models has been doubling roughly every six months и в более подробном отчёте Training compute of frontier AI models grows by 4-5x per year организация перешла от одной запоминающейся цифры к набору более аккуратных оценок по разным выборкам.
Наконец, AI Index 2025, пересказывая мартовский снимок датасета Epoch, формулирует тренд для notable models как удвоение примерно каждые пять месяцев. Это не опровержение «полугода», а следствие другой версии выборки и другого способа агрегирования.
Метод
Что именно измеряет Epoch
Ключевая метрика здесь — вычисления при обучении, или training compute, измеряемые в FLOP. Это не пропускная способность дата-центра, не inference-бюджет и не энергопотребление. В документации Epoch отдельно оговаривает, что frontier models — это модели, входившие в top-10 по training compute на момент релиза, а notable models — более широкая категория значимых систем по критериям цитируемости, SOTA-результатов, исторической важности или заметного продуктового использования.
Как получают оценки
По документации AI Models Documentation – Estimation у Epoch есть несколько путей оценки compute. Предпочтительный вариант — когда сама статья или технический отчёт прямо сообщает training compute. Если такого числа нет, используются либо данные о железе и времени обучения, либо подсчёт операций по архитектуре и данным. В редких случаях применяют прокси через benchmark performance, когда прямых сведений почти нет.
training compute ≈ chips × time × peak FLOP/s × utilizationДля hardware-based оценок важны тип ускорителя, длительность обучения, формат чисел и коэффициент утилизации. Epoch прямо пишет, что для крупных распределённых training runs типичные utilization rates часто лежат примерно в диапазоне 30–50%, поэтому здесь неизбежны допущения. Для transformer language models в документации также приведена общеупотребимая эвристика вида compute ≈ 6 × parameters × training tokens, выводимая из подсчёта forward и backward passes.
Почему цифры меняются
Три причины особенно важны. Во-первых, выборка: notable, frontier, language-only и company-specific срезы дают разные наклоны тренда. Во-вторых, период: число для 2012–2018 не обязано совпадать с числом для 2020–2024. В-третьих, база пополняется и очищается; AI Index 2025 отдельно указывает, что использует снимок датасета Epoch, а сама документация Epoch обновляется регулярно.
Результаты
Если собрать основные оценки в одну таблицу, видно, что разговорная фраза «каждые полгода» полезна только как приближение. Точный ответ зависит от того, о каком наборе моделей и о какой метрике идёт речь.
| Источник и срез | Что измеряют | Оценка темпа | Как это читать |
|---|---|---|---|
| OpenAI 2018; крупнейшие training runs 2012–2018 | Крупнейшие публично известные AI training runs | Удвоение за 3,4 месяца | Исторический стартовый ориентир; эту формулировку затем прямо пересказывает CSET. |
| Epoch / IJCNN 2022; три эпохи | Milestone models по длинной истории ML | Post-2010 DL-era: около 6 месяцев; отдельная large-scale ветка с конца 2015–2016: около 10 месяцев | Один «закон роста» распадается на несколько режимов. |
| Epoch data insight 2024 | Все notable models после 2010 года | 4,7x/год; это оценка конкретного data insight Epoch и её стоит читать именно как оценку данной версии выборки | Это самый буквальный источник формулы про «roughly every six months» внутри материалов Epoch. |
| Epoch report 2024 | Notable, frontier и top language models до мая 2024 года | 4,1x/год для notable; 5,3x/год для frontier за весь период; 4,2x/год для recent frontier после перелома около 2018; 5,0x/год для recent top language models после перелома около середины 2020 | Современная сводка Epoch: лучше говорить о диапазоне 4–5x/год, а не о единственном магическом числе. |
| AI Index 2025 и поздние сводки Epoch | Поздний пересказ trends и смежные метрики | AI Index 2025: notable models удваиваются примерно каждые 5 месяцев; Epoch 2026: global AI chip capacity растёт на 3,3x/год с 2022, то есть около 7 месяцев на удвоение | Training compute моделей и мировой запас AI-чипов — разные ряды, их нельзя смешивать. |
Из этой таблицы следует самый практический вывод: в 2026 году наименее вводящая в заблуждение формулировка звучит так. По публичным данным Epoch, training compute заметных и frontier AI-моделей в последние годы рос примерно на 4–5x в год, то есть грубо удваивался за 5–6 месяцев; для frontier language models с 2020 года у Epoch получается около 5x в год; для глобальной вычислительной мощности запаса AI-чипов с 2022 года — около 3,3x в год.
Отдельные метрики рядом с этим трендом тоже важны. В материале Epoch о power draw говорится, что мощность, необходимая для обучения frontier AI models, растёт примерно в 2,1 раза в год; в актуальной витрине трендов Epoch эта мысль сжата до формулы о приблизительно ежегодном удвоении power requirements. В другом разборе Epoch 2025 разлагает рост training compute на три основные составляющие: большие кластеры, более длинные training runs и более производительное железо.
Интерпретация
Наш комментарий
Главная ценность отчётов Epoch не в красивом слогане, а в том, что они возвращают разговор из уровня мемов к уровню операциональных определений. Когда кто-то говорит, что «вычисления удваиваются каждые полгода», первый встречный вопрос должен звучать так: какие именно вычисления, для какой выборки моделей и за какой период?
Для инженера или исследовательского менеджера это не академическая придирка. Если вам нужно планировать бюджет, инфраструктуру, сроки подготовки данных или оценивать устойчивость текущего scaling path, то training compute, inference compute, power draw и global chip capacity дают разные сигналы. Отчёт Epoch 2024 о frontier models, разложение факторов роста в 2025 году и оценка глобального chip capacity в 2026 году вместе показывают, что масштабирование продолжалось не только из-за «лучших алгоритмов», но и из-за роста кластеров, длительности прогонов и доступности более мощных ускорителей.
Есть и более тонкий вывод. Даже если training compute растёт очень быстро, это не означает столь же линейный рост способностей. OpenAI в AI and efficiency ещё в 2019 году показывала, что алгоритмическая эффективность может быстро снижать compute, нужный для достижения той же способности. А работа Algorithmic progress in language models от команды Epoch оценивает прогресс в pretraining efficiency как эквивалент удвоения вычислительной мощности примерно каждые 5–14 месяцев. Иными словами, «сколько FLOP потратили» и «что модель умеет» — связанные, но не тождественные вопросы.
Ограничения
- Публичная видимость неполна. Документация Epoch и сам отчёт 2024 года прямо предупреждают, что база notable models не исчерпывающая. Закрытые frontier training runs могут отсутствовать полностью или присутствовать только как грубые оценки.
- Оценки compute содержат допущения. Это особенно заметно там, где нет прямого раскрытия hardware, времени обучения или utilization. Документация Epoch подробно показывает, что часть значений восстанавливается по косвенным признакам.
- Результат чувствителен к выборке. В отчёте 2024 года notable models, frontier models, recent frontier и language-only срезы дают разные наклоны. Это не ошибка, а следствие того, что разные подмножества ИИ масштабировались с разной скоростью.
- Есть чувствительность к выбросам. В отчёте 2024 года отдельно обсуждаются AlphaGo Master и AlphaGo Zero: при включении этих систем картина перелома вокруг 2018 года заметно меняется.
- Compute не равен capability. Быстрый рост training compute не доказывает пропорциональный рост полезности модели. На итог влияют данные, архитектура, алгоритмическая эффективность, post-training и конкретные целевые задачи.
- Сопоставление разных публикаций требует осторожности. OpenAI 2018, Epoch 2022, Epoch 2024 и AI Index 2025 используют близкие, но не идентичные определения и временные срезы. Поэтому сравнивать их следует как историческую линию эволюции метода, а не как одну таблицу с «правильным числом».
Заключение
Тезис «Epoch AI: вычисления удваиваются каждые полгода» в целом отражает направление тренда, но скрывает важные оговорки. В первоисточниках речь идёт не о всех вычислениях в ИИ, а прежде всего о training compute у notable или frontier-моделей, причём оценка зависит от периода и состава выборки.
Если вам нужен честный однострочный вывод, он такой: по публичным оценкам Epoch, в последние годы training compute заметных и frontier-моделей рос примерно на 4–5x в год, что соответствует очень быстрому, но не единому и не универсальному режиму масштабирования. Для практики важнее не запоминать мем про «полгода», а научиться различать метрику, выборку и границы уверенности.
Источники
- Epoch AI — Training compute of frontier AI models grows by 4-5x per year
- Epoch AI — The training compute of notable AI models has been doubling roughly every six months
- Jaime Sevilla et al. — Compute Trends Across Three Eras of Machine Learning (IJCNN 2022)
- OpenAI — AI and compute
- Epoch AI — AI Models Documentation – Overview
- Epoch AI — AI Models Documentation – Estimation
- Stanford HAI — Artificial Intelligence Index Report 2025, Chapter 1
- Epoch AI — Trends in Artificial Intelligence
- Epoch AI — Global AI computing capacity is doubling every 7 months
- Stanford HAI — Research and Development | The 2026 AI Index Report
- Epoch AI — The power required to train frontier AI models is doubling annually
- Epoch AI — Training compute growth is driven by larger clusters, longer training, and better hardware
- Anson Ho et al. — Algorithmic progress in language models
- OpenAI — AI and efficiency
- CSET — AI and Compute: How Much Longer Can Computing Power Drive Artificial Intelligence Progress?
FAQ
Что именно «удваивается» у Epoch AI?
Обычно речь идёт о training compute в FLOP для notable или frontier-моделей. Это не inference-нагрузка и не общий объём доступных GPU в мире.
Почему у разных источников получается 3,4 месяца, 6 месяцев и 10 месяцев?
Потому что это разные периоды и разные выборки. OpenAI 2018 смотрела на крупнейшие training runs с 2012 по 2018 год; Epoch 2022 разделила историю на несколько эпох; Epoch 2024 и AI Index 2025 используют более поздние и более широкие срезы данных.
Можно ли по этому тренду предсказывать способности моделей?
Только очень грубо. Рост compute остаётся важным драйвером, но способности также зависят от данных, архитектуры, алгоритмической эффективности и post-training.
Значит ли это, что масштабирование будет продолжаться тем же темпом?
Нет. Даже вторичные источники вроде CSET, а позже и собственные материалы Epoch о chip capacity, power и training cost, показывают, что инфраструктурные и экономические ограничения становятся всё важнее.