Тема COMRAD404

swe-bench

8 материалов

OpenAI представила GPT-5.2-Codex — самую мощную агентную модель для кода

OpenAI выпустила GPT-5.2-Codex — специализированную версию флагманской модели для автономной разработки. Модель поддерживает долгосрочное планирование, масштабные рефакторинги кода и усиленные...

Как измерить производительность AI-агента: пошаговое руководство по бенчмаркам и метрикам

Единого стандарта оценки агентов не существует. Разбираем, какие бенчмарки реально показывают эффективность кодинг-агентов, поисковых агентов и мультиагентных систем, и как...

Как оценить AI-агента: практическое руководство по бенчмаркам и метрикам

Разбираем, какие бенчмарки действительно показывают способности AI-агентов, как интерпретировать результаты и на что обращать внимание при выборе модели для агентных...

Четыре условия замены джуниоров агентным кодингом: три не выполнены, четвёртое — тревожный сигнал

Анализ MarkTechPost на основе данных METR, OpenAI, DORA и Стэнфорда: бенчмарки переоценены, производительность с AI-инструментами падает, а наём молодых разработчиков...