Саттон: одного роста вычислений недостаточно
8 ноября 2026 года The Decoder пересказал новое заявление Ричарда Саттона, автора эссе «Горький урок»: по словам исследователя, одних вычислительных ресурсов недостаточно для развития ИИ, а наука об ИИ ещё далека от завершения. Это не призыв отказаться от вычислений, а возражение против представления, будто увеличение масштаба само по себе заменит поиск новых методов обучения.
Для разработчиков это означает, что при выборе направления важно обсуждать не только размер модели и бюджет на её обучение, но и алгоритмы, которые позволяют системе учиться. Это вывод из изложенной позиции Саттона, а не описание доказанного превосходства конкретной альтернативы.
В пересказе The Decoder среди таких направлений названы агенты с моделями мира, обучающиеся на собственном опыте, и непрерывное обучение. Так спор о «горьком уроке» касается не только объёма вычислений, но и того, чему и как система может научиться.
Модели мира и обучение на собственном опыте
The Decoder сообщает, что Саттон ранее критиковал простое масштабирование больших языковых моделей и называл синтетические данные «большой ошибкой». В изложении издания его аргумент состоит в том, что интернет-тексты не охватывают сложности реального мира, а человеческая экспертиза может стать ограничением при создании синтетических данных.
В качестве альтернативного направления Саттон предлагает агентов с моделями мира, которые непрерывно учатся на собственном опыте. Он также считает, что языковые модели после завершения обучения обычно не продолжают учиться; нужное свойство новых систем — способность обновлять знания, не теряя ранее усвоенного.
Практический смысл этой идеи — рассматривать обучение не только как этап до выпуска модели. Система, которая продолжает адаптироваться на опыте, должна одновременно сохранять уже приобретённые навыки. В публикации это направление изложено как предложение Саттона, а не как результат сравнительного испытания готовых систем.
«Горький урок» не сводится к безусловному масштабированию
Джерри Творек, как передаёт The Decoder, считает, что принцип «горького урока» сохраняется, но с ростом вычислений всё важнее становится выбор алгоритма. По его словам, одни алгоритмы масштабируются, другие упираются в пределы, а многие варианты масштабирования ещё не исследованы. Творек также критикует слепую ставку на увеличение трансформеров.
Джейден Тео, которого цитирует издание, говорит, что буквальная трактовка «горького урока» могла отталкивать исследователей от перспективных идей, если те не соответствовали предполагаемому духу принципа. По его мнению, идея может быть важным вкладом в прогресс, даже если не сохраняет преимущество при любом дальнейшем масштабировании.
The Decoder также сообщает, что в выпуске Frontier Radar #5 отслеживались 45 новых ИИ-лабораторий, делающих ставку на направления за пределами описанного дефицита методов. Это оценка самого издания, а не независимый подсчёт всей отрасли. Публикация пересказывает заявления Саттона и мнения других исследователей; независимого сравнения масштабирования, моделей мира и непрерывного обучения в ней нет, поэтому определить по этому материалу, какой подход эффективнее, нельзя.
