Результат бенчмарка не всегда позволяет понять, какая ИИ-модель лучше: методы оценки развиваются, а результаты разных тестов трудно сравнивать между собой. Об этом глава политики Hugging Face Ирен Солайман сказала на TechCrunch Disrupt; TechCrunch опубликовал пересказ её выступления 19 октября 2026 года. Для читателя это означает, что при сравнении рейтингов важно смотреть не только на итоговое место, но и на условия тестирования.
Почему рейтинг не даёт окончательного ответа
Солайман назвала методы оценки сложными и пока развивающимися. По её словам, отрасли нужны более согласованные подходы, если она хочет и дальше опираться на бенчмарки. Это её оценка состояния методологии, а не результат опубликованного в статье сравнительного испытания моделей.
Воспроизводимость и доступ к модели
Важными условиями доверия к результатам Солайман назвала возможность воспроизвести оценку и достаточный доступ к самой модели. Она отдельно указала на открытые веса как фактор, который может обеспечить такой доступ. Практический вопрос при чтении рейтинга — можно ли повторить описанный тест и понять, к какой именно модели и настройкам относятся результаты.
Почему разные тесты сложно сравнить
По словам Солайман, оценки развиваются, но пока неизвестно, как содержательно сопоставлять их друг с другом. Поэтому два результата из разных бенчмарков не обязательно измеряют одно и то же: без общих критериев их нельзя автоматически читать как прямое сравнение моделей. В пересказе TechCrunch нет единой таблицы результатов, которая устанавливала бы превосходство конкретной модели.
Агент — это не только модель
Оценка готового агентского приложения затрагивает всю систему: модель, окружающий её harness — средство доступа к модели — и самого агента. Солайман охарактеризовала агентские оценки как сложные и дорогие и отметила, что оценок harness пока меньше, чем оценок моделей. Поэтому результат проверки одной модели сам по себе не описывает, насколько хорошо сработает конкретное приложение, собранное вокруг неё.
Что меняет сторонний оценщик
TechCrunch также описывает сомнения вокруг сторонних оценщиков. В качестве примера издание упоминает решение Anthropic привлечь Accenture в качестве первого оценщика; этот выбор вызвал критику со стороны некоторых комментаторов, которые ставили под вопрос квалификацию консультинговой компании для такой задачи. Сам эпизод не доказывает ни предвзятость оценщика, ни качество его работы.
Материал TechCrunch пересказывает позицию Солайман и не содержит независимой проверки бенчмарков. Поэтому её слова дают ориентиры для чтения рейтингов, а не подтверждают, что конкретный тест достоверен или что одна модель лучше другой.
