Mistral выложила обновлённые открытые веса флагманской модели Mistral Large 4, известной как «Le Chonk», и продвигает её для агентного кодинга и кибербезопасности; кастомизация идёт через Mistral Forge (Latent Space, AINews, 30 октября). Спор не о факте релиза, а о том, что означают её результаты: 25% на Terminal-Bench 4.0, 15% на FrontierCode 2.0 и 48 баллов Coding Agent Index при 8,5 млн токенов на задачу. Ниже — что измеряет каждый замер, где модель уступает и при каких условиях её брать.
Три замера отвечают на три разных вопроса
FrontierCode 2.0 — бенчмарк Cognition, и 15% — процентный результат в нём; правила зачёта дайджест не раскрывает. Terminal-Bench 4.0 даёт 25% на другом наборе, размер которого не назван. Coding Agent Index ставит 48 и рядом указывает 8,5 млн токенов на задачу: это единственный из трёх замеров, где результат явно связан с расходом.
25% и 48 — не очки одной шкалы, и складывать их нельзя. Первое число — результат на наборе терминальных задач, второе — балл индекса при известной цене в токенах. Для выбора модели это разные вопросы: «справится ли» и «сколько шагов и контекста на это уйдёт».
Ни один из трёх замеров в описании не сопровождается методикой: не указаны размеры наборов, число попыток на задачу и правила зачёта. Поэтому все сравнения ниже корректны только внутри одного замера и одной версии.
Качество: 25% на Terminal-Bench и 15% на FrontierCode 2.0
На FrontierCode 2.0 Mistral Large 4 набирает 15% против 29% у DeepSeek V4.1 Flash 1017 и 22% у GLM-5.3. Разрыв с лидером — 14 процентных пунктов: результат DeepSeek почти вдвое выше.
На Terminal-Bench 4.0 модель берёт 25% против 8% у Muse Spark Open. Других участников этого замера дайджест не называет, поэтому переносить сюда результаты GLM-5.3 или DeepSeek нельзя: сравнение ограничено одной парой.
По оценке Artificial Analysis, в Intelligence Index v5 у модели 26 баллов — лучший результат среди открытых моделей, разработанных вне Китая, на 1 балл выше Muse Spark Open. При этом она отстаёт на 6 баллов от DeepSeek V4.1 Flash 1017 и GLM-5.3, поэтому «лидерство» здесь означает победу в подмножестве, а не в общем зачёте.
Конфигурация по данным Artificial Analysis: 1,05 трлн параметров всего, 52 млрд активных, контекст 1 млн токенов, вход — текст и изображение; Vals добавляет максимальный вывод 256K. По разбору сообщества, архитектура использует полное разреженное внимание в стиле DeepSeek V3.2 и GLM 5, разделяет KV-кеш между NoPE-слоями после 35-го слоя и индексаторы на RoPE-слоях с 17-го. Связь этих решений с 39% экономии выходных токенов источник не устанавливает — совпадение по времени, а не доказанная причина.
Что остаётся заявлением Mistral, а не замером
Mistral говорит о первом месте среди открытых моделей на FrontierCode от Cognition и перечисляет киберзащитные проверки CrowdStrike, Cloudflare, Zscaler. Это утверждение вендора, и оно расходится с числами того же материала: 15% на FrontierCode 2.0 против 22% и 29%. Источник не уточняет, о какой версии или конфигурации идёт речь; пока версия не названа, заявление о первом месте нельзя суммировать с 15%.
Отдельно исследователь Mistral сообщает о 64% побед в человеческих предпочтениях против GLM 5.3 и Kimi K3. Размер выборки, набор задач и порядок сравнения не раскрыты, поэтому 64% — сообщение автора модели, а не независимое измерение.
Экономика задачи: 48 баллов при 8,5 млн токенов и $2,06
По данным Artificial Analysis, в Coding Agent Index модель набирает 48 баллов при 8,5 млн токенов на задачу против 49 у GLM-5.3 при 15,9 млн. Разница в один балл при расходе около 53% от конкурента — аргумент в пользу Mistral Large 4 в агентном сценарии: тот же уровень результата достигается меньшим объёмом прогоняемого контекста.
На задаче Intelligence Index модель тратит 82K выходных токенов — на 39% меньше, чем Preview-версия. Стоимость такой задачи Artificial Analysis оценивает в $2,06. Прайс API: $0,70 за 1 млн входных, $2,10 за 1 млн выходных и $0,07 за 1 млн кешированных — примерно вдвое ниже Preview.
Эти числа не перемножаются напрямую. При $0,70 за 1 млн входных 8,5 млн токенов дали бы около $5,95, что почти втрое больше $2,06; при кешированных $0,07 — около $0,60. Значит, $2,06 и 8,5 млн относятся к разным замерам, а состав токенов (вход, выход, кеш) в дайджесте не раскрыт. Считать «цену агентной задачи» по прайсу и токенам из разных строк нельзя.
39% экономии выходных токенов важны там, где агент генерирует много рассуждений на шаг: меньше генерации — ниже задержка и счёт за выходные токены. Гарантии переноса этой экономии на длинную терминальную сессию нет: в источнике она измерена на задачах Intelligence Index.
Открытые веса и лицензия MEOW: где начинается барьер
Веса открыты, но лицензия MEOW требует отдельной коммерческой лицензии для бизнеса, который продаёт доступ к модели как к сервису (model-as-a-service, по данным Artificial Analysis). Для команды, использующей модель внутри продукта или запускающей её у себя, вопрос упирается в трактовку «сервиса»; какие ещё виды использования покрывает отдельная лицензия и на каких условиях она выдаётся, источник не сообщает.
Для платформы, продающей доступ к агенту по API, стоимость лицензии — часть экономики наравне с $0,70 и $2,10 за токены; без её условий полная стоимость агентной задачи остаётся неизвестной.
Границы автономности: точность 26% и галлюцинации 28%
На AA-Omniscience доля галлюцинаций снизилась с 41% до 28%, но точность осталась на 26%: верными были примерно четверть ответов этого набора. Снижение галлюцинаций не делает модель источником фактов. Для агентного кодинга это означает, что автономность ограничена задачами, где ошибку ловит исполнение — тесты, линтер, компилятор, — а не задачи, где нужно доверять тексту.
В Vals Index модель занимает 5-е место среди открытых и 17-е в общем зачёте, с приростом в сборке приложений и юридическом поиске. Общий зачёт ставит её ниже, чем позволяют предположить отдельные победы в подмножествах, — та же картина, что и на FrontierCode 2.0.
Кому подходит
Агентный кодинг с внешней проверкой — подходящий сценарий: 48 против 49 при 8,5 млн против 15,9 млн токенов дают тому же исполнителю почти вдвое меньше контекста на задачу. Результат на FrontierCode 2.0 — аргумент против: 15% против 22% у GLM-5.3 и 29% у DeepSeek V4.1 Flash 1017. Продажа доступа как model-as-a-service требует сначала решить вопрос лицензии MEOW.
Итог без рейтинга «лучшая модель»: Mistral Large 4 — экономный по токенам исполнитель для задач с проверяемым результатом, но не лидер по результату FrontierCode 2.0. По одному замеру на каждый бенчмарк, при нераскрытой методике и заявлениях вендора распространять это на другие наборы задач нельзя.
