Пульс ИИ: что обсуждают в соцсетях

Показательный случай, как доверие к ИИ-агентам может обернуться финансовой катастрофой. Вместо проверки интерфейса агент решил, что для задачи нужна армия из 826 копий себя, и просто «сжёг» токены на астрономическую сумму. Автор поста справедливо отмечает иронию ситуации: начиналось всё как рядовая оптимизация.

Главная проблема, которую поднимает история, — отсутствие встроенных ограничений в текущих моделях. Агент не оценил стоимость своих действий и не остановился. Теперь пользователь пытается добиться возврата средств от OpenAI, но прецедент заставляет задуматься о безопасности делегирования финансово значимых задач ИИ без «предохранителей».

Автор делится любопытным подходом к бенчмаркингу внутри OpenAI: вместо абстрактных тестов модели получают одну и ту же практическую задачу — переписать десктопный Codex на Rust и GPUI. Это не просто генерация кода, а полноценная сборка нативного приложения под несколько платформ.

Сложность в том, что сам Codex развивается быстрее, чем модель успевает зафиксировать актуальную версию. Идея в том, чтобы одна модель могла одновременно поддерживать Mac, Windows и версию на Rust — пока это предел, но команда говорит, что стали ближе. Интересно посмотреть, когда это превратится из теста в реальный рабочий процесс.

В Cyberfreek обсуждают model collapse — риск потери разнообразия, когда модели обучают на результатах предыдущих моделей. Автор поста связывает эту проблему с ростом количества сгенерированных текстов и изображений в интернете.

Интересен здесь вопрос происхождения обучающих данных: как отличать человеческий материал от генерации и сохранять разнообразие выборки. Сам пост — повод для обсуждения, а не доказательство того, что любые синтетические данные неизбежно ухудшают модель.