Fairness (справедливость модели)

Справедливость модели (fairness) — это проверка того, не создаёт ли ML-система систематически худшие результаты или больший вред для одних групп по сравнению с другими. По официальным источникам, актуальным на 2026-08-14, fairness — не универсальная математическая формула, а контекстно-зависимое социально-техническое свойство: его обычно оценивают через виды вреда, сравнение подгрупп, выбранные метрики и документирование результатов.

Английский термин: fairness. Также встречается: algorithmic fairness, «справедливость ИИ», «справедливость в машинном обучении». Важно не путать umbrella-термин fairness с отдельными критериями вроде demographic parity, equality of opportunity, equalized odds или counterfactual fairness.

Простыми словами

Грубо говоря, fairness отвечает на вопрос: если модель принимает решение о людях или группах людей, не получается ли так, что для одних она работает заметно хуже, чем для других.

Можно представить это как единый экзамен для нескольких классов. Если средний балл по школе хороший, это ещё не значит, что экзамен справедлив: возможно, для одного класса задания оказались системно сложнее или проверка была менее точной. В ML такая же логика: общей точности модели недостаточно, если между группами есть заметный разрыв по ошибкам или доступу к результату.

Как это работает

NIST прямо пишет, что fairness нельзя свести к короткому математическому определению: она динамична, социальна и зависит от применения. Поэтому на практике работу со справедливостью обычно строят как последовательность решений, а не как расчёт одного «магического» числа.

Контекст задачи
    ↓
Какие есть возможные виды вреда?
    ↓
Какие подгруппы и чувствительные атрибуты важны?
    ↓
Какие метрики подходят именно здесь?
    ↓
Сравнение результатов по подгруппам
    ↓
Разбор компромиссов между метриками
    ↓
Документирование выводов и повторная проверка

Типичный процесс выглядит так:

1. Сначала определяют вред. Fairlearn и Microsoft советуют начинать не с метрики, а с типа вреда. В официальных материалах встречаются как минимум три класса: allocation harms (когда система распределяет доступ или приоритет), quality-of-service harms (когда качество модели для одних групп хуже, чем для других) и stereotyping harms (когда система закрепляет или усиливает стереотипы).
2. Потом выбирают подгруппы. В Azure Responsible AI dashboard fairness assessment группирует предсказания по чувствительным атрибутам. Идея простая: смотреть не только на общую метрику, а на разрезы по группам.
3. Дальше выбирают критерий fairness. Google перечисляет несколько популярных вариантов. Demographic parity сравнивает долю положительных исходов между группами. Equality of opportunity сравнивает истинно-положительные срабатывания для тех, кто действительно должен получить положительный исход. Equalized odds требует учитывать и истинно-положительные, и ложно-положительные различия между группами. Counterfactual fairness спрашивает: изменился бы результат, если бы чувствительный признак был другим при прочих равных.
4. После этого модель измеряют и сравнивают. NIST AI RMF Core, Measure 2.11, требует, чтобы fairness и bias, выявленные на этапе Map, были оценены, а результаты задокументированы. То есть одной проверки «для себя» недостаточно: важны воспроизводимость и явная фиксация выводов.
5. Наконец, оценивают компромиссы. Google отдельно отмечает, что многие fairness-метрики взаимно несовместимы. Это означает, что улучшение по одному критерию не гарантирует улучшение по другому.

Практический вывод: fairness почти всегда означает не «посчитать одну цифру», а выбрать, какую именно несправедливость вы хотите обнаружить и почему этот выбор оправдан в вашем случае.

Где применяется

• Системы распределения доступа или приоритета. Здесь особенно важны allocation harms: кому система чаще даёт положительный исход, а кому — реже.
• Классификаторы, где важно одинаковое качество для разных групп. Это сценарий quality-of-service harms: общая метрика может выглядеть нормально, но одна подгруппа получает заметно больше ошибок.
• Генеративные и описательные модели. Для них актуальны stereotyping harms, когда ответы, описания или классификации закрепляют нежелательные шаблоны.
• MLOps-оценка перед релизом. В Azure Machine Learning Responsible AI dashboard fairness assessment соседствует с анализом данных, error analysis, interpretability, counterfactual what-if и causal analysis. В TFX/TFMA связка Fairness Indicators позволяет сравнивать разрывы между подгруппами и между моделями.

Если вы разбираете поведение системы шире, полезно отдельно посмотреть на Alignment (согласование ИИ). В многошаговых приложениях пригодится и понимание того, как устроена Chain (цепочка агентов). Для генеративных пайплайнов смежный контекст дают GAN и VAE.

Практический пример

Сценарий: вы проверяете fairness бинарного классификатора в TensorFlow-стеке. Официальная документация Fairness Indicators предлагает довольно прямой маршрут: добавить callback Fairness Indicators с порогами, запустить оценку через TFMA и отрисовать результаты, чтобы посмотреть на disparity и сравнить модели.

1. Определите, что именно считается вредом. Без этого вы не поймёте, какой критерий выбирать: различие в доле положительных исходов, в истинно-положительных срабатываниях или в другом показателе.
2. Задайте подгруппы. Выберите чувствительный атрибут или набор атрибутов, по которым нужен срез.
3. Добавьте Fairness Indicators callback и пороги. В документации TensorFlow это явный шаг: пороги задают ожидания к метрикам, а не просто выводят графики «для справки».
4. Запустите TFMA evaluation. После этого можно отрисовать результаты и проверить различия между срезами.
5. Смотрите не только на средние значения, но и на разрывы. Документация Fairness Indicators отдельно ориентирует на inspection of disparities, confidence intervals и сравнение моделей.
6. Задокументируйте решение. Если модель B лучше по общей метрике, но хуже по разрыву между подгруппами, это не «автоматическая победа» и не «автоматический запрет». Это оформленный компромисс, который нужно объяснить.

Модель A / Модель B
        ↓
TFMA evaluation
        ↓
Fairness Indicators
        ↓
Срезы по чувствительным атрибутам
        ↓
Disparity + confidence intervals
        ↓
Решение и документация

Если вы работаете в managed-среде, похожую задачу можно решить через Responsible AI dashboard в Azure Machine Learning, где fairness assessment встроен рядом с error analysis, interpretability и counterfactual-анализом.

Чем отличается от…

Ключевая мысль из официальных источников Google и NIST: fairness — это зонтичное понятие, а перечисленные критерии — частные способы его операционализировать под конкретную задачу.

Ограничения и заблуждения

• Заблуждение: «существует единая объективная fairness-метрика». По NIST SP 1270 это неверно: fairness зависит от контекста и не сводится к одной формуле.
• Заблуждение: «если общая точность высокая, модель справедлива». Нет. Fairness assessment как раз и нужен для сравнения подгрупп, а не только усреднённого качества.
• Заблуждение: «достаточно выбрать любую популярную метрику». Google отдельно отмечает, что многие fairness-метрики несовместимы между собой. Выбор критерия — это содержательное решение, а не формальность.
• Ограничение количественных метрик. Microsoft подчёркивает, что численные fairness-метрики не могут полностью выразить справедливость, правосудие или due process.
• Ограничение процедуры. Fairlearn описывает fairness как contestable и procedural: спор о справедливости не исчезает после построения графика. Важны обсуждение, документация и пересмотр критериев.
• Ограничение инструментов. TensorFlow Fairness Indicators в документации в первую очередь описан для classification workflows. Для других классов моделей переносимость подхода нужно проверять отдельно.

Практический вердикт: относитесь к fairness как к дисциплине оценки и документирования, а не как к галочке в чек-листе. Если вы не можете объяснить, какой вред измеряете, почему выбрали именно эти группы и почему используете именно эту метрику, то у вас, скорее всего, ещё нет внятной fairness-проверки.

Редакционное ограничение: у open-source-проектов и облачных сервисов быстро меняются релизы, зависимости, региональная доступность и биллинг. Перед внедрением перепроверьте актуальные условия на официальных страницах и release-лентах.

Связанные термины и инструменты

Для практики чаще всего используют Fairlearn для Python, AIF360 как набор fairness-метрик и алгоритмов mitigation, TensorFlow Fairness Indicators для TFMA/TFX-пайплайнов и Responsible AI dashboard в Azure ML для управляемой оценки модели. Для понимания более широкого поведения системы полезны также материалы про Alignment, Chain, GAN и VAE.

Источники

• Releases · microsoft/responsible-ai-toolbox
• Releases · Trusted-AI/AIF360

• NIST Special Publication 1270: Towards a Standard for Identifying and Managing Bias in Artificial Intelligence
• NIST AI RMF Core
• Responsible AI glossary
• Fairness in machine learning
• Responsible AI dashboard in Azure Machine Learning
• Fairness in Machine Learning
• GitHub – Trusted-AI/AIF360
• Fairness Indicators | TensorFlow

Вопросы и ответы

Есть ли одна правильная метрика fairness?

Нет. NIST прямо пишет, что fairness нельзя свести к одной краткой математической формуле, а Google указывает, что разные fairness-критерии могут конфликтовать.

Можно ли сделать модель справедливой сразу по всем метрикам?

Не всегда. В официальном глоссарии Google отмечено, что многие fairness-метрики взаимно несовместимы, поэтому приходится выбирать приоритеты под конкретный тип вреда.

Чем fairness отличается от bias?

Bias — более широкий язык для описания смещений и проблем, а fairness обычно означает их оценку через вред, подгруппы и формализованные критерии. В NIST AI RMF fairness и bias рассматриваются вместе и требуют оценки с документированием результатов.

Достаточно ли одной таблицы метрик для принятия решения?

Нет. Microsoft подчёркивает, что числа не охватывают правосудие и due process, а Fairlearn рассматривает fairness как procedural-вопрос. Поэтому нужны контекст, обсуждение и документация, а не только график.

Нужна ли fairness-проверка только для классификаторов?

Нет, сама идея шире. Но конкретные инструменты могут быть ограничены: например, TensorFlow Fairness Indicators в документации прежде всего описан для classification workflows.