Explainability (объяснимость)

Объяснимость (explainability) — это свойство AI-системы давать человеку понятное объяснение того, как был получен её результат. В актуальных документах NIST и OECD это не универсальная «прозрачность по умолчанию», а контекстная характеристика доверия: объяснение должно подходить задаче, аудитории и последствиям решения.

Английский термин: explainability. В официальных материалах также встречается: explainable AI. Близкие, но не тождественные термины: interpretability (интерпретируемость), transparency (прозрачность).

По NIST explainability относится к механизмам, лежащим в основе работы системы, а interpretability — к смыслу её вывода в конкретном контексте. OECD делает другой акцент: люди, которых затрагивает результат AI-системы, должны понимать, как этот результат был получен — через факторы, данные, логику или алгоритм, стоящие за исходом.

Простыми словами

Грубо говоря, объяснимость можно представить как ситуацию, когда система не только выдала ответ, но и может в разумной форме показать, почему он получился именно таким. Не «поверьте мне», а «вот какие причины и зависимости сыграли роль».

Аналогия упрощает картину, но полезна: если модель похожа на очень строгого проверяющего, то explainability — это не просто итоговая оценка, а комментарий к ней. При этом комментарий должен быть понятен тому, кто его читает: инженеру, аудитору или человеку, на которого повлиял результат.

Как это работает

NIST прямо указывает, что одинакового объяснения для всех случаев не существует. Поэтому explainability обычно строят не как одну функцию, а как процесс: сначала определяют, что именно надо объяснить, затем выбирают уровень объяснения, метод и способ проверки качества этого объяснения.

Запрос на объяснение
        |
        v
    Выход модели
        |
        +--> Глобальное объяснение
        |    (как модель ведёт себя в целом)
        |
        +--> Локальное объяснение
        |    (почему получен один конкретный результат)
        |
        +--> Объяснение по когорте
             (как модель ведёт себя на подгруппе)
                    |
                    v
   Проверка: meaningful / explanation accuracy / knowledge limits
                    |
                    v
      Объяснение для нужной аудитории

Практически этот процесс можно разложить на шаги:

1. Определить адресата. Одно и то же объяснение может быть полезным инженеру и бесполезным человеку, которого затронул результат системы.
2. Выбрать уровень. В актуальном workflow Azure Machine Learning используются как минимум три формы: global explanations, local explanations и cohort explanations, плюс feature-importance values.
3. Построить объяснение. Для этого применяют инструменты и методы, например SHAP для объяснения вывода ML-модели или Captum для interpretability- и understanding-задач в PyTorch.
4. Проверить по принципам NIST. В NISTIR 8312 перечислены четыре принципа explainable AI: Explanation, Meaningful, Explanation Accuracy и Knowledge Limits.
5. Зафиксировать границы. Объяснение должно быть не только понятным, но и честным: что именно оно показывает, с какой точностью и чего из него заключать нельзя.

NISTIR 8312 прямо предупреждает: one-size-fits-all explanations do not exist.

Это важная практическая мысль. Если вам нужна explainability, сначала решают вопрос «кому и зачем объясняем», а уже потом выбирают библиотеку или dashboard.

Где применяется

• Управление рисками ИИ. В материалах NIST trustworthy AI описывается как AI, в том числе explainable and interpretable. AI RMF 1.0 при этом позиционируется как добровольный и практический framework для управления рисками ИИ.
• Объяснение результатов людям, которых они затрагивают. В трактовке OECD explainability нужна, чтобы человек мог понять, как система пришла к результату; в зависимости от случая объяснение может включать факторы, данные, логику или алгоритм.
• Объяснение вывода ML-моделей. SHAP описывает себя как game-theoretic approach to explain the output of any machine learning model. На странице релизов как latest release указан v0.52.0, опубликованный 2026-05-28.
• PyTorch-проекты. Captum описывает себя как model interpretability and understanding library for PyTorch. На странице релизов как latest release указан v0.9.0 от 2026-04-17; там же отмечено, что Captum Insights was retired in v0.9.0.
• Платформенный аудит в Azure. Страница Microsoft Learn по model interpretability, обновлённая 2026-02-10, указывает, что Responsible AI dashboard может генерировать global explanations, local explanations, cohort explanations и feature-importance values через SDK v2 и CLI v2.

Практический пример

Ниже — не пошаговая инструкция по кликам, а безопасный рабочий сценарий, который опирается только на подтверждённые из source pack возможности.

1. Сформулируйте вопрос. Вам нужно понять поведение модели целиком, один конкретный результат или различия между подгруппами данных.
2. Выберите тип объяснения. Для общей картины нужен global explanation; для одного результата — local explanation; для сравнения подгрупп — cohort explanation.
3. Сгенерируйте объяснения в используемом стеке. Если вы работаете в Azure Machine Learning, Microsoft указывает на workflow через SDK v2 или CLI v2 с просмотром результатов в Responsible AI dashboard. Если ваш стек завязан на PyTorch, логичной отправной точкой будет Captum. Если нужен более общий слой для объяснения вывода разных ML-моделей, часто обращаются к SHAP.
4. Сопоставьте объяснение с аудиторией. По NIST explanation должно быть meaningful. Для инженера это может означать полезность для отладки, а для затронутого человека — понятность причин результата на человеческом уровне.
5. Проверьте accuracy и limits. NIST выносит explanation accuracy и knowledge limits в отдельные принципы. Иными словами, красивой картинки недостаточно: надо понимать, насколько она соответствует реальной работе модели и где у неё заканчивается валидность.

Практический вывод из этого сценария простой: explainability — это не только вычислить feature importance, но и встроить объяснение в принятие решений, документацию и проверку рисков.

Чем отличается от…

Если нужно совсем коротко: explainability отвечает на вопрос «почему и как так получилось», interpretability — «что этот вывод означает здесь и сейчас», transparency — «что вы вообще раскрываете о системе и её работе».

Ограничения и заблуждения

• Заблуждение: explainability — это одна универсальная техника. NIST прямо пишет, что одинаковых объяснений для всех случаев не существует.
• Заблуждение: explainability и interpretability — одно и то же. В материалах NIST эти понятия различаются, и смешивать их в документации не стоит.
• Ограничение: объяснение должно быть точным, а не только понятным. NISTIR 8312 выделяет explanation accuracy как отдельный принцип.
• Ограничение: система и команда должны обозначать knowledge limits. Иначе пользователь может сделать из объяснения выводы, которых оно не поддерживает.
• Ограничение SHAP. В source pack отдельно указано, что качество объяснения зависит от модели, masker и допущений; кроме того, GPU support требует CUDA setup.
• Ограничение Captum. Это PyTorch-focused библиотека; если ваш стек другой, переносимость подхода ограничена. Также Captum Insights в v0.9.0 retired.
• Ограничение Azure workflow. Это платформенно-специфичный путь; в source pack отмечено, что доступность функций может зависеть от региона, Azure setup, SKU и прав доступа.
• Ограничение терминологии. Формулировки NIST и OECD совместимы по смыслу, но не идентичны. Дополнительно NIST указывает, что AI RMF 1.0 сейчас обновляется, поэтому точные формулировки на AIRC-странице со временем могут меняться.

Редакционное ограничение: в доступном наборе источников есть нормативные определения и продуктовые документы, но нет единого эмпирического сравнения, которое позволяло бы назвать один метод объяснения лучшим для всех моделей и задач.

Практический вердикт: рассматривайте explainability как набор доказательств под конкретный риск и конкретного адресата. Если вы пока не можете ответить, кому именно нужно объяснение и какое решение оно должно поддержать, у вас, скорее всего, ещё нет объяснимости — есть только артефакт визуализации.

Связанные термины и инструменты

• AI Safety (безопасность ИИ) — более широкий контекст снижения рисков, в котором explainability часто выступает как практический механизм доверия и контроля.
• Alignment (согласование ИИ) — соседняя тема: даже хорошо объясняемая система может быть плохо согласована с целями и нормами.
• Self-attention — пример внутреннего механизма модели, который часто пытаются интерпретировать, но его визуализация сама по себе ещё не равна полноценной explainability.
• Checkpoint (контрольная точка) — полезен, если вы сравниваете, как объяснения меняются на разных стадиях обучения или после донастройки.

Источники

• Releases · shap/shap · GitHub
• Releases · meta-pytorch/captum · GitHub

• AI Risks and Trustworthiness – AIRC
• Artificial Intelligence Risk Management Framework (AI RMF 1.0) | NIST
• Four Principles of Explainable Artificial Intelligence
• Transparency and explainability (OECD AI Principle) – OECD.AI
• GitHub – shap/shap: A game theoretic approach to explain the output of any machine learning model. · GitHub
• GitHub – meta-pytorch/captum: Model interpretability and understanding for PyTorch · GitHub
• Model interpretability – Azure Machine Learning | Microsoft Learn

Вопросы и ответы

Объяснимость и интерпретируемость — это одно и то же?

Нет. NIST различает эти понятия: explainability относится к механизмам работы системы, а interpretability — к смыслу вывода в конкретном контексте.

Можно ли считать SHAP или Captum готовой стратегией explainability?

Нет. Это инструменты, а не универсальный ответ. NIST отдельно подчёркивает, что одинакового объяснения для всех случаев не существует, а качество объяснения надо проверять на meaningful, accuracy и knowledge limits.

Что выбрать: global, local или cohort explanation?

Это зависит от вопроса. Для поведения модели в целом нужен global explanation, для одного результата — local, для подгруппы данных — cohort. Именно такую тройку явно поддерживает актуальный Azure workflow.

Почему explainability считается частью trustworthy AI?

Потому что без понятного объяснения сложнее управлять рисками, проверять работу системы и давать людям основания понимать её результат. В материалах NIST trustworthy AI прямо включает explainable and interpretable systems.