На Reddit в сообществе r/artificial развернулась дискуссия, способная охладить пыл сторонников скорого пришествия AGI. Пользователь mostly_deterministic, инженер-программист с двадцатилетним стажем, задал прямой вопрос: может ли текущая архитектура LLM привести к созданию общего искусственного интеллекта?
В чём суть скепсиса
Автор поста не отрицает практическую пользу LLM. Напротив, он признаёт, что «упряжки» (агентские фреймворки), внешние циклы обратной связи и дополнительные контексты создают впечатление интеллекта. Однако его беспокоит фундаментальное ограничение: на самом низком уровне любая LLM — это система предсказания следующего токена на основе условной вероятности. Авторегрессивное декодирование не даёт модели независимого механизма осознания собственных ошибок. Шаги «рассуждения» (chain-of-thought) не меняют природу процесса.
Ключевые аргументы
Отсутствие обучения во время вывода
Обычная инференция не обновляет веса модели. Человек, столкнувшись с ошибкой, может пересмотреть ход мыслей — LLM этого не делает. Модель генерирует ответ, но не учится на процессе генерации.
Нет механизма возврата
Авторегрессивная генерация не предусматривает пересмотра ранее сгенерированных токенов. Если модель отклонилась от верного пути, она не может вернуться назад и исправить ошибку — только начать заново с другим seed или промптом.
Имитация vs реальное мышление
Автор проводит аналогию: текущие LLM работают как «конфигурируемое количество людей, играющих в почти безошибочный телефон», где каждый участник — клон (или почти клон) одного и того же «разума». Это создаёт иллюзию глубины, но не даёт настоящего рассуждения.
Контраргументы и дискуссия
В комментариях к посту развернулась оживлённая полемика. Сторонники «скалинга» указывают на то, что появление способностей к рассуждению (reasoning) при увеличении размера модели и данных было непредсказуемо — возможно, новые свойства появятся и при дальнейшем масштабировании. Другие отмечают, что нейросетевые архитектуры, такие как трансформеры с механизмом внимания, уже продемонстрировали эмерджентные способности, не заложенные в них изначально.
Однако автор остаётся при своём мнении: «Примитив, который предоставляет модель — это генерация, а не явный механизм рассуждения». Он призывает коллег задуматься: если AGI — это способность выполнять любую интеллектуальную задачу на уровне человека, то как этого можно достичь, используя лишь вероятностное предсказание следующего токена?
Почему это важно для практиков
Для разработчиков, использующих LLM в продакшене, эта дискуссия — не абстрактная философия. Понимание ограничений архитектуры напрямую влияет на выбор инструментов и ожидания от агентных систем. Если LLM не способна к истинному обучению в процессе вывода, то все «рассуждающие» агенты — лишь сложные пайплайны с внешними проверками, а не шаг к AGI.
Источники
Оригинальный пост на Reddit: https://www.reddit.com/r/artificial/comments/1wa8rjv/can_current_llm_architecture_actually_get_us_to/