Тема COMRAD404

AI-инфраструктура — страница 22

576 материалов

LLM не умеют строить модели производительности: бенчмарк PerfReasoning вскрывает разрыв между рассуждениями и кодом

Новый бенчмарк PerfReasoning оценивает способность LLM рассуждать о производительности аппаратного обеспечения. Закрытые модели проходят тест с результатом выше 90%, но...

HarvestBench: первый бенчмарк, измеряющий готовность LLM-агентов платить за отказ от убийства животных

Новый бенчмарк HarvestBench проверяет, сколько «топлива» LLM-агенты готовы потратить, чтобы объехать животное на поле, а не переехать его. Результаты показали...

Harbor Adapters: новый стандарт для тестирования AI-агентов на 80+ бенчмарках

Представлена унифицированная инфраструктура для оценки AI-агентов: Harbor Adapters портирует более 80 бенчмарков, а Harbor-Index предлагает 82 тщательно отобранных сложных задачи....

Саймон Уилсон: полный переписанный с нуля сервис часто оставляет команды с двумя системами

Саймон Уилсон предупредил, что попытка заменить перегруженную техническим долгом систему новым проектом нередко заканчивается параллельной эксплуатацией двух кодовых баз. Для...

Внутренние кодинг-агенты OpenAI: как ускоряются исследования и почему это важно для безопасности

OpenAI опубликовала данные о том, как внутренние кодинг-агенты меняют темп и сложность AI-исследований. Параллельно компания делится опытом мониторинга таких агентов...