Как проверить модель на галлюцинации

Результат: после выполнения инструкции у вас будет воспроизводимая схема проверки модели на галлюцинации для трёх типовых сценариев: короткий фактологический QA, RAG-ответы и длинная генерация. На выходе вы получите выбранную метрику, эталонный набор, tools-off baseline и ручную подвыборку для валидации результатов.

Практический вердикт: не ищите одну универсальную метрику. Для коротких фактологических ответов используйте SimpleQA или TruthfulQA, для RAG — Ragas Faithfulness, для длинных текстов — FActScore. Любой результат дополнительно проверяйте независимым эталоном, прогоном без внешних инструментов и ручным разбором части ответов.

• ⏱️ Время: зависит от объёма выборки и способа оценки; в источниках точное время не указано.
• 🎯 Сложность: средний.
• 💰 Стоимость: зависит от инструмента; OpenAI Evals требует OpenAI API key и репозиторий отдельно предупреждает о затратах на API; для FActScore в репозитории указан ориентир около $1 на 100 sentences, но это зависит от scorer’а и knowledge source.
• 🛠️ Что потребуется: доступ к тестируемой модели, фиксированный набор вопросов или тем, независимый эталон, а для RAG — retrieved context; для OpenAI Evals — OpenAI API key; для long-form проверки — выходы модели и knowledge source для FActScore.
• 📌 Актуальные условия на 2026-08-14: OpenAI Evals — актуальный framework и registry для evals; simple-evals помечен как deprecated с июля 2025; на странице релизов Ragas указан последний релиз v0.4.3; TruthfulQA в репозитории имеет обновление Jan 2025.

Если вам нужен быстрый маршрут без лишней теории, делайте так: сначала изолируйте тип задачи, затем берите подходящий benchmark, потом проводите прогон в tools-off режиме, после этого проверяйте результаты независимым судьёй и вручную разбирайте часть спорных ответов. Именно такой порядок лучше всего следует из источников.

Когда какой способ выбирать

Почему нельзя сводить всё к одному числу: в источниках прямо указано, что accuracy-only evaluations поощряют угадывание вместо признания неопределённости. Поэтому проверка на галлюцинации должна отдельно учитывать случаи, где корректный ответ — это честное «не знаю» или отказ от выдумывания.

Пошагово: как проверить модель на галлюцинации

1. Зафиксируйте один сценарий и один режим проверки. Сначала решите, что именно вы тестируете: короткий фактологический QA, RAG-ответы или длинную генерацию. Не смешивайте эти сценарии в одном прогоне, потому что источники рекомендуют task-specific evals, а не общий тест на всё сразу.

   Для базовой линии проведите отдельный tools-off прогон: без браузинга и внешних баз знаний. Такой режим прямо используется в OpenAI Safety Tests, где factuality проверяют без внешних инструментов, а SimpleQA No Browse применяется как стресс-тест.

   Ожидаемый результат: у вас есть один чётко описанный режим проверки, и вы понимаете, тестируете внутреннюю фактичность модели или систему с retrieval.

2. Подберите benchmark под тип ответа. Для коротких фактологических вопросов берите SimpleQA или TruthfulQA. SimpleQA состоит из 4 326 вопросов, у каждого один однозначный ответ; в материале OpenAI отдельно подчёркнуто, что его можно быстро оценивать через OpenAI API или другой frontier model API. TruthfulQA остаётся полезным QA-ориентированным бенчмарком, но сам репозиторий указывает, что в Jan 2025 были добавлены новый binary setting, удалена часть устаревших вопросов и уточнены некоторые ответы.

   Для RAG берите Ragas Faithfulness. Для длинных ответов — FActScore, потому что он разбивает генерацию на atomic facts и измеряет долю фактов, подтверждённых reliable knowledge source.

   Ожидаемый результат: у вас выбран один основной benchmark и, при необходимости, один дополнительный стресс-тест.

3. Соберите независимый эталонный набор. Для short-form QA эталон должен состоять из вопросов с одним верифицируемым ответом — это принцип, на котором построен SimpleQA. Для RAG-набора каждому вопросу нужен retrieved context, потому что Faithfulness оценивает именно согласованность ответа с этим контекстом. Для long-form набора готовьте темы и ответы модели.

   Если вы строите кастомный eval через OpenAI Evals, в руководстве по созданию evals локальный датасет предлагают хранить как JSONL по пути evals/registry/data/<eval_name>/samples.jsonl; среди категорий там отдельно упомянуты In-the-wild hallucinations. Для FActScore в репозитории описан JSONL-вход с полями topic и output:

   {"topic":"Ada Lovelace","output":"...длинный ответ модели..."}

   Ожидаемый результат: у вас есть фиксированный набор примеров, который можно повторно прогонять на разных моделях или версиях одной модели.

4. Прогоните модель на фиксированном наборе и сохраните сырой вывод. На этом шаге не меняйте формулировки вопросов и не подмешивайте новые примеры в середине проверки. Для production-сравнений важнее сохранить один и тот же набор, чем бесконечно расширять его на лету.

   Если вы используете OpenAI Evals, заранее учитывайте, что для запуска нужен OpenAI API key, а репозиторий отдельно предупреждает о затратах на API. Если вам нужен лишь референс по готовым factuality-eval, помните, что simple-evals уже deprecated с июля 2025: он больше не обновляется под новые модели или результаты бенчмарков, но остаётся источником reference implementations для HealthBench, BrowseComp и SimpleQA.

   Ожидаемый результат: у вас сохранены исходные ответы модели, а не только финальный score.

5. Посчитайте основную метрику и не смешивайте разные виды factuality. Для short-form QA считайте результат на SimpleQA или TruthfulQA. Для RAG применяйте Faithfulness: в документации Ragas score лежит в диапазоне от 0 до 1 и считается как доля supported claims от total claims. Для длинной генерации используйте FActScore: он оценивает не весь ответ целиком, а набор atomic facts внутри него.

   Это важно практически: низкий FActScore не говорит автоматически о проблеме retrieval, а низкий Faithfulness не заменяет short-form factual QA. Каждый показатель отвечает на свой вопрос.

   Ожидаемый результат: у вас есть одна основная метрика, соответствующая именно вашему сценарию, а не усреднённый показатель «правдивости вообще».

6. Проверьте автоматический результат независимым судьёй и ручной подвыборкой. В материале OpenAI про SimpleQA качество grading дополнительно проверяли третьим независимым AI-тренером на случайной выборке из 1 000 вопросов; совпадение составило 94,4%, а расхождения затем вручную проверяли. Для вашей практики это означает одно: даже хороший автоматический judge нужно перепроверять на случайной подвыборке.

   Возьмите случайную часть ответов, прогоните их независимым методом оценки и отдельно просмотрите все расхождения вручную. Если совпадение высокое, метрике можно доверять заметно больше; если нет, исправляйте эталон или судью до принятия решений по модели.

   Ожидаемый результат: у вас есть не только score, но и список спорных примеров, который показывает реальные типы галлюцинаций.

7. Отдельно измерьте склонность модели угадывать. OpenAI прямо пишет, что accuracy-only evaluations поощряют угадывание вместо признания неопределённости. Поэтому в вашем наборе должны быть примеры, где корректное поведение — не выдумывать ответ при нехватке знаний.

   Практически это удобно считать отдельной колонкой: уверенно неверный ответ, корректный ответ, корректное признание неопределённости. Тогда вы увидите не только «сколько верных ответов», но и «как часто модель галлюцинирует уверенно».

   Ожидаемый результат: вы отделяете обычные ошибки от наиболее рискованного типа ошибок — уверенного выдумывания фактов.

8. Зафиксируйте вывод по итогам прогона и выберите следующий шаг. Если провалился short-form QA, не переносите этот результат автоматически на длинные статьи. Если низкий Faithfulness в RAG, сначала исправляйте retrieval и контекст, а не делайте вывод только о самой модели. Если слабый FActScore на длинной генерации, разбирайте неподдержанные atomic facts и смотрите, системная ли это проблема или единичные сбои.

   Редакционное ограничение: в исходниках есть критерии выбора benchmark, режим tools-off и ограничения инструментов, но нет одной проверенной end-to-end последовательности CLI-команд для всех стеков и нет универсального проходного порога. Поэтому корректный итог этой инструкции — воспроизводимый workflow выбора и валидации, а не обещание одного числа, которое автоматически доказывает отсутствие галлюцинаций.

   Ожидаемый результат: у вас есть отчёт, в котором видно, где именно модель галлюцинирует и какой инструмент это показал.

Как проверить, что всё работает

• У вас есть минимум один tools-off прогон и, если нужен RAG, отдельный прогон с retrieved context.
• Для каждого сценария выбрана своя метрика: SimpleQA или TruthfulQA для short-form, Faithfulness для RAG, FActScore для long-form.
• Сохранён фиксированный набор примеров и сырые ответы модели, а не только агрегированный score.
• Есть независимая валидация: случайная ручная подвыборка и разбор расхождений.
• В отчёте отдельно видно, где модель ошиблась, а где уверенно выдумала факт вместо признания неопределённости.

Если все пять пунктов выполнены, ваша проверка уже полезна для сравнения моделей, регрессий после обновления и анализа качества RAG-пайплайна.

Частые ошибки и исправления

• ❌ Ошибка: использовать SimpleQA как универсальную метрику для любых длинных текстов.
  ✅ Решение: ограничьте SimpleQA короткими фактологическими вопросами. В paper прямо сказано, что перенос на long-form factuality остаётся открытым исследовательским вопросом.
• ❌ Ошибка: считать Faithfulness на RAG-ответах без retrieved context.
  ✅ Решение: подавайте в оценку тот контекст, на который модель должна была опираться. Без этого метрика теряет смысл.
• ❌ Ошибка: судить о галлюцинациях только по accuracy и не различать честную неопределённость и угадывание.
  ✅ Решение: заведите отдельную маркировку для случаев, где модель должна была отказаться от выдумывания факта.
• ❌ Ошибка: использовать simple-evals как источник актуальных результатов по новым моделям.
  ✅ Решение: воспринимайте его только как deprecated reference implementation. Для кастомных прогонов и актуальных eval-пайплайнов смотрите OpenAI Evals.
• ❌ Ошибка: считать HaluEval или RAGTruth готовым production-checker для любого пользовательского запроса.
  ✅ Решение: используйте их как фиксированные бенчмарки и корпуса, а для вашего домена собирайте отдельный эталонный набор.

Безопасность и ограничения

• API-backed grading может отправлять ваши промпты и ответы внешнему провайдеру. Перед запуском проверьте внутренние правила по данным и журналированию.
• OpenAI Evals требует OpenAI API key и отдельно предупреждает о затратах на API. Точные расходы зависят от объёма набора и конфигурации запуска; в исходниках этой статьи универсальной суммы нет.
• simple-evals deprecated с июля 2025. Его удобно читать как reference implementation, но не как источник актуальных сравнений по новым моделям.
• Ragas Faithfulness не подходит для open-domain генерации без контекста. Это метрика для RAG, а не общий детектор галлюцинаций.
• FActScore рассчитан на long-form generation. В репозитории указан ориентир стоимости около $1 на 100 sentences, но это только ориентир; он зависит от числа предложений, scorer’а и knowledge source.
• Нет одной универсальной метрики галлюцинаций. Выбор должен зависеть от сценария: short QA, RAG или long-form.

Что делать дальше

• Уточните терминологию в глоссарии: Галлюцинации ИИ и Генеративная модель (Generative Model).
• Если после eval выяснилось, что проблема частично в самой модели, начните с материала Как файн-тюнить модель: с чего начать.
• Если вы хотите прогонять сравнения локально, подготовьте стенд по инструкции Как настроить локальную модель через Ollama.
• Для смежной задачи посмотрите руководство Как проверить текст на ИИ-генерацию.

Источники

• Introducing SimpleQA | OpenAI
• Measuring short-form factuality in large language models
• Why language models hallucinate | OpenAI
• Findings from a pilot Anthropic–OpenAI alignment evaluation exercise: OpenAI Safety Tests | OpenAI
• GitHub – openai/evals
• evals/docs/build-eval.md at main · openai/evals · GitHub
• GitHub – openai/simple-evals · GitHub
• Faithfulness – Ragas
• Releases · vibrantlabsai/ragas · GitHub
• GitHub – shmsw25/FActScore
• FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation
• GitHub – RUCAIBox/HaluEval
• GitHub – ParticleMedia/RAGTruth
• GitHub – sylinrl/TruthfulQA

Вопросы и ответы

Можно ли проверить галлюцинации одной универсальной метрикой?

Нет. Источники прямо показывают, что выбор зависит от сценария: short-form QA, RAG или long-form generation.

Подходит ли SimpleQA для длинных текстов?

Непрямо. В paper SimpleQA ограничен короткими фактологическими вопросами с одним верифицируемым ответом, а перенос на long-form factuality назван открытым вопросом.

Можно ли использовать Ragas Faithfulness без retrieved context?

Нет. Метрика измеряет согласованность ответа именно с retrieved context, поэтому без контекста она не решает задачу.

Стоит ли сейчас опираться на simple-evals?

Только как на reference implementation. Репозиторий помечен как deprecated с июля 2025 и не обновляется под новые модели или результаты бенчмарков.

Нужна ли ручная проверка, если уже есть автоматический judge?

Да. В кейсе SimpleQA автоматическое оценивание дополнительно валидировали независимым AI-тренером на случайной выборке и затем вручную разбирали расхождения.