Галлюцинации (Hallucination)

Галлюцинации (hallucination) — это правдоподобные, но фактически неверные ответы языковой модели. В документации OpenAI к ним относят не только ошибочные факты, но и выдуманные цитаты, исследования, ссылки и другие несуществующие источники, поэтому важную информацию рекомендуется проверять по надёжным первоисточникам.

Английский термин: hallucination. В актуальных документах OpenAI и Anthropic по состоянию на 2026-08-16 термин используется прежде всего в операционном смысле: модель выдаёт убедительный текст, который не подтверждается фактами.

Простыми словами

Грубо говоря, модель иногда похожа на очень уверенного собеседника, который не любит оставлять паузу и продолжает отвечать даже тогда, когда точного знания у него нет. В результате вы получаете не пустое место и не честное «не знаю», а связный и убедительный текст, где часть деталей может быть придумана.

Важно не путать это с намеренной ложью. По объяснениям OpenAI и Anthropic, проблема скорее в том, как языковые модели обучаются продолжать ответ: система вознаграждается за правдоподобное продолжение, а не всегда за признание неопределённости.

Как это работает

OpenAI в отдельной работе о галлюцинациях пишет, что они сохраняются, потому что обучение и оценка моделей часто поощряют угадывание вместо признания неопределённости. Anthropic формулирует ту же идею практичнее: модель постоянно подталкивают делать следующую догадку о продолжении текста, и именно это создаёт почву для галлюцинаций.

Вопрос пользователя
        ↓
Модель пытается продолжить ответ
        ↓
Точного подтверждения в контексте нет
        ↓
Система всё равно выбирает правдоподобное продолжение
        ↓
Появляется уверенное, но неверное утверждение
        ↓
Пользователь видит "готовый ответ", хотя источник не подтверждён

1. Запрос: вы задаёте вопрос, иногда без достаточного контекста или без приложенных источников.
2. Генерация: модель строит наиболее вероятное продолжение ответа, а не выполняет самостоятельную проверку истины.
3. Дефицит опоры: если данных не хватает, модель может «достроить» недостающие факты, названия работ, даты или цитаты.
4. Уверенная форма: текст остаётся гладким и убедительным, из-за чего ошибку легко принять за знание.
5. Снижение риска: внешние источники, поиск, цитаты и структурированные форматы помогают, но сами по себе не дают гарантии истинности содержания.

Практический вывод: галлюцинация возникает не только из-за «слабой модели», а из-за самой логики автодополнения ответа. Поэтому борьба с ней почти всегда требует внешней опоры: поиска, документов, цитат и отдельной валидации.

Где применяется

• Ответы на актуальные веб-вопросы. В ChatGPT Search ответы могут показывать встроенные цитаты, а пользователь может проверять источники через наведение курсора или панель Sources. В справке OpenAI указано, что ChatGPT Search доступен пользователям Free, Plus, Team, Edu и Enterprise, а также logged-out Free users. Но доступ зависит от плана, настроек рабочего пространства и текущего развёртывания, поэтому его лучше перепроверять в своём аккаунте.
• Ответы по документам. В Claude Citations можно получать ответы с привязкой к конкретным фрагментам источника. По документации Anthropic, citations поддерживают все активные модели, кроме Claude Haiku 3. Это удобно для вопросов по политикам, договорам и внутренним регламентам.
• Извлечение данных в JSON. OpenAI Structured Outputs при strict: true гарантирует соответствие схеме, что полезно для пайплайнов, форм и интеграций. Но официальная страница отдельно предупреждает: соблюдение схемы не означает фактическую корректность значений внутри полей.
• Поиск и подстановка результатов в API. Anthropic Search results доступны на Claude API, Amazon Bedrock и Google Cloud. В документации есть важные рамки: только текст, блоки search_result можно передавать только в сообщениях пользователя, а при совместном использовании web search в той же заявке цитирование должно быть включено на всех блоках search_result.

Практический пример

Если вам нужен ответ, который можно проверять, используйте не один приём, а связку из источника, цитирования и проверки результата. Для повседневной работы подойдёт такой сценарий:

Задача: ответить на вопрос по набору документов или веб-источников.

Инструкция модели:
1) Отвечайте только по предоставленным источникам.
2) Для каждого ключевого утверждения добавляйте ссылку или цитату из источника.
3) Если ответа в источниках нет, прямо напишите: "Недостаточно данных в источниках".
4) Если нужен машинный вывод, верните ответ в заранее заданной JSON-схеме.

1. Для веб-вопросов используйте поиск с цитатами, чтобы сразу видеть, откуда взят факт.
2. Для документных вопросов включайте режим с цитированием фрагментов источника.
3. Если ответ должен уйти в систему, добавляйте структурированный вывод, чтобы убрать ошибки формата.
4. После генерации проверяйте не только форму, но и содержимое полей по исходным источникам.

Здесь важно не перепутать две разные задачи. Structured Outputs решает задачу формата, а не истины. Citations и поиск решают задачу проверяемости, а не абсолютной гарантии. Поэтому безопасный минимум для важных сценариев — источник + цитата + ручная или автоматическая проверка.

Если вы строите процесс проверки, пригодится отдельное руководство как проверить модель на галлюцинации. Для общего контекста можно также освежить базовый термин генеративный ИИ.

Чем отличается от…

Ограничения и заблуждения

• Заблуждение: «если модель ответила уверенно, значит она знает». На практике уверенный тон не равен фактической точности.
• Заблуждение: «галлюцинация — это только полностью выдуманный абзац». По определению OpenAI, сюда входят и частные ошибки: неверный факт, поддельная цитата, несуществующая работа или ссылка.
• Заблуждение: «достаточно включить JSON-режим, и проблема исчезнет». Нет: OpenAI прямо указывает, что Structured Outputs гарантирует схему, но не правильность значений.
• Заблуждение: «цитаты полностью убирают риск». По текущим документам OpenAI и Anthropic, поиск и citations улучшают проверяемость и снижают риск, но не описываются как абсолютная гарантия истины внутри сгенерированного ответа.
• Заблуждение: «галлюцинации были только у ранних моделей». OpenAI в работе от 2025-09-04 пишет, что галлюцинации сохраняются и в новейших моделях, хотя их частота ниже.
• Ограничение термина: универсального определения для всех статей и всех вендоров нет. В этой статье используется практическое определение из текущих документов OpenAI и Anthropic, где в центре стоит фактическая неверность ответа.

Редакционное ограничение: статья опирается только на предоставленный набор официальных документов и исследовательскую работу по состоянию на 2026-08-16. Мы сознательно не расширяем термин за пределы этого корпуса, поэтому некоторые академические трактовки и метрики здесь не разбираются.

Практический вердикт: если ответ модели влияет на деньги, право, безопасность или публикацию, относитесь к нему как к черновику до тех пор, пока не проверите факты по источникам.

Связанные термины и материалы

• Валидация (Validation) — как отделить проверку качества от генерации ответа.
• Файн-тюнинг (fine-tuning): что это — когда настройка модели помогает стилю и задаче, но не заменяет внешнюю проверку фактов.
• Граф знаний (knowledge graph) — полезен как внешний слой структурированных связей, если вам нужна проверяемая база сущностей.
• Как проверить модель на галлюцинации — практический чек-лист для тестирования ответов.

Источники

• Does ChatGPT tell the truth? | OpenAI Help Center
• ChatGPT Search | OpenAI Help Center
• Why Language Models Hallucinate
• Introducing Structured Outputs in the API | OpenAI
• Tracing the thoughts of a large language model | Anthropic
• Citations – Claude Platform Docs
• Search results – Claude Platform Docs

Вопросы и ответы

Галлюцинация — это любая ошибка модели?

Не совсем. В текущей документации OpenAI термин относится именно к фактической неверности ответа: ошибочным фактам, выдуманным цитатам, исследованиям и ссылкам. Ошибка формата и галлюцинация — не одно и то же.

Можно ли полностью убрать галлюцинации поиском и цитатами?

По текущим документам — нет. Поиск, встроенные цитаты и привязка к документам делают ответ проверяемее и обычно снижают риск, но не дают гарантии, что всё сгенерированное содержимое истинно.

Помогает ли Structured Outputs против галлюцинаций?

Частично и косвенно. Эта функция полезна против ошибок структуры: при strict: true ответ должен соответствовать схеме. Но OpenAI отдельно указывает, что фактические ошибки внутри JSON-значений всё равно возможны.

Почему модель не пишет просто «не знаю»?

OpenAI и Anthropic объясняют это устройством обучения: модель поощряется продолжать ответ и угадывать следующее правдоподобное продолжение. Anthropic при этом отмечает, что Claude нередко отказывается отвечать, если не знает, вместо спекуляции.