В препринте на arXiv, опубликованном 15 октября 2026 года, авторы сравнили восемь языковых моделей на англоязычных и бенгальских тестовых наборах новостного корпуса XL-Sum. По их результатам, лидер по лексическим метрикам на английском не сохраняет преимущество на бенгальском: там лучшие ROUGE и BLEU у LLaMA 3.3 70B, а наивысший наблюдавшийся показатель фактической точности — у Gemini 2.5 Flash. Это означает, что рейтинг зависит и от языка, и от того, какое качество пересказа оценивают. Препринт на arXiv.
На разных языках лидируют разные модели
Авторы сообщают, что GPT-5.6 Luna лидирует по нескольким лексическим метрикам на английском, но не сохраняет такое преимущество в бенгальском. В бенгальском тесте наивысшие ROUGE и BLEU получила LLaMA 3.3 70B. По показателю фактической точности для того же языка впереди оказалась Gemini 2.5 Flash. Следовательно, результаты не указывают на одну модель, которая лидирует по всем языкам и критериям.
Что измеряют разные оценки
ROUGE и BLEU относятся к лексическим метрикам: они сравнивают слова и фрагменты текста в сгенерированном пересказе с эталонным пересказом. Семантические метрики оценивают сходство смысла. Отдельно авторы применяли проверку фактической точности без эталонного пересказа и оценивание с помощью LLM-судьи.
Эти подходы отвечают на разные вопросы: насколько пересказ похож на эталон по словам или смыслу и насколько он сохраняет факты. Поэтому высокое место по ROUGE или BLEU само по себе не подтверждает, что модель точнее передаёт содержание новости. В препринте авторы сообщают, что методы оценки давали разные рейтинги моделей.
Условия сравнения
Работа описывает zero-shot-бенчмарк восьми закрытых и открытых по весам моделей. Их оценивали на англоязычном и бенгальском тестовых наборах XL-Sum сопоставимого размера, без дополнительного обучения на этой задаче. Авторы объединяли лексические и семантические метрики с проверкой фактической точности и оценкой LLM-судьи.
Границы выводов
Результаты и выводы принадлежат авторам препринта; независимая проверка бенчмарка в доступных материалах не представлена. В доступном тексте нет подробных таблиц с численными значениями и условий оценивания, поэтому нельзя установить величину разрыва между моделями или воспроизвести рейтинг. Выводы относятся к описанному тесту XL-Sum и не устанавливают порядок моделей для других корпусов и языков.
