Пользователь Reddit (KicksStandLabs) опубликовал результаты сравнительного теста трёх AI-систем: ChatGPT (OpenAI), Claude (Anthropic) и RESORSA — собственной платформы автора. Тест включал 10 симулированных бизнес-идей с одинаковыми вводными данными. Цель — выяснить, какая система помогает принимать более эффективные бизнес-решения, а не просто генерирует убедительные ответы.
Что измеряли
Автор отслеживал четыре ключевых параметра:
— Оценка необходимого капитала для запуска
— Способность системы оспаривать необоснованные расходы
— Выявление предположений, требующих валидации
— Рекомендация пивота, если исходное направление не работает
Результаты: экономия и скорость
Средняя разница в рекомендованных затратах оказалась значительной: RESORSA предлагала пути, которые в среднем на $13 500 дешевле на один проект. Экономия достигалась за счёт «скучных» решений: валидировать перед разработкой, арендовать вместо покупки, тестировать вручную до автоматизации, использовать готовые инструменты вместо кастомной инфраструктуры.
Из 10 симуляций 7 бизнесов прошли по исходному сценарию. Оставшиеся три потребовали смены направления — и только RESORSA рекомендовала пивот, в то время как ChatGPT и Claude продолжали настаивать на первоначальном плане.
Медианное время генерации прототипа составило 38 секунд. Один выброс — около 4 минут — показал, что оптимизация ещё не завершена.
Ограничения и следующий шаг
Автор признаёт очевидную предвзятость (RESORSA — его продукт) и недостаточность выборки в 10 симуляций. Следующий этап — больше симуляций, затем сравнение с реальным поведением основателей стартапов. Результаты будут публиковаться, включая неудачные.
Практический вывод
Тест демонстрирует, что AI-системы можно оптимизировать не на «умный» ответ, а на практическую полезность: помогать предпринимателю обнаружить то, чего он не знает, и тратить минимум ресурсов на обучение. Для разработчиков AI-агентов это повод задуматься о метриках оценки: красота ответа vs реальная ценность для пользователя.
Источники
— Оригинальный пост на Reddit: https://www.reddit.com/r/artificial/comments/1wedwqr/we_just_ran_10_builds_through_openai_claude_and/
— Сайт OpenAI: https://openai.com/news/