События и разборы

Оперативная лента ИИ и разработки — страница 29

Короткие проверки популярных AI-сигналов из Telegram, Reddit, X и YouTube: что произошло, чему верить и почему это важно.

516 материалов

LLM не умеют строить модели производительности: бенчмарк PerfReasoning вскрывает разрыв между рассуждениями и кодом

Новый бенчмарк PerfReasoning оценивает способность LLM рассуждать о производительности аппаратного обеспечения. Закрытые модели проходят тест с результатом выше 90%, но...

HarvestBench: первый бенчмарк, измеряющий готовность LLM-агентов платить за отказ от убийства животных

Новый бенчмарк HarvestBench проверяет, сколько «топлива» LLM-агенты готовы потратить, чтобы объехать животное на поле, а не переехать его. Результаты показали...

Harbor Adapters: новый стандарт для тестирования AI-агентов на 80+ бенчмарках

Представлена унифицированная инфраструктура для оценки AI-агентов: Harbor Adapters портирует более 80 бенчмарков, а Harbor-Index предлагает 82 тщательно отобранных сложных задачи....