Bias (смещение)

Bias (англ. bias) в контексте ИИ — это систематический несправедливый перекос, предвзятость или фаворитизм, который может возникать из-за институтов, данных, алгоритмов или человеческих решений. Если говорить совсем коротко: система начинает работать не одинаково для всех не случайно, а по устойчивой схеме.

Важно не путать этот термин с другим значением слова bias в машинном обучении: в англоязычных источниках так же называют параметр модели, а Google отдельно предупреждает не смешивать эти смыслы. В этой статье речь идет о bias в смысле справедливости, общественных последствий и систематических перекосов, а не о математическом параметре.

Английский термин: bias. Также встречается: AI bias, fairness bias; по-русски — смещение, перекос, предвзятость. Контекст: по состоянию на 2026-08-16 в материалах NIST bias рассматривается шире, чем просто демографический баланс.

Простыми словами

Грубо говоря, bias можно представить как весы, которые с самого начала стоят неровно. Даже если вы кладете на них одинаковые предметы, результат будет систематически смещаться в одну сторону.

В ИИ это означает, что проблема может сидеть не только в модели. Перекос может появиться раньше — в правилах и нормах, по которым собирали данные, в самой выборке, или в человеческих решениях на этапах разработки и оценки.

Поэтому вопрос «есть ли bias?» почти всегда шире вопроса «плохая ли у нас модель?». Часто корректнее спрашивать: на каком этапе жизненного цикла системы возник перекос и как он проявляется для разных групп.

Как это работает

NIST выделяет три крупные категории AI-bias: системное смещение (systemic bias), вычислительное/статистическое смещение (computational/statistical bias) и человеческое/когнитивное смещение (human-cognitive bias). Эти категории могут действовать одновременно и усиливать друг друга.

Правила, процессы, нормы
        ↓
Сбор и отбор данных
        ↓
Человеческие решения на этапах разработки
        ↓
Обучение и работа модели
        ↓
Результаты для разных групп
        ↓
Проверка по подгруппам и мониторинг
        ↺

1. Системное смещение. По NIST SP 1270 оно возникает из правил, процессов или норм, которые дают преимущества одним социальным группам и ставят в невыгодное положение другие.
2. Вычислительное/статистическое смещение. По NIST это ошибка, которая появляется, когда выборка непредставительна или возникает другая систематическая ошибка. Такой bias может существовать и без предубеждения или дискриминационного умысла.
3. Человеческое/когнитивное смещение. NIST относит к AI-bias и человеческие когнитивные эвристики: человеческие процессы принятия решений могут вносить перекосы по всему жизненному циклу ИИ.
4. Скрытие проблемы общей метрикой. На общей точности модель может выглядеть приемлемо, но при разбиении по подгруппам различия становятся заметны. Поэтому NIST в playbook Measure рекомендует disaggregated evaluation — отдельную оценку по race, age, gender, ethnicity, ability и region.
5. Управление, а не разовая проверка. В тех же рекомендациях NIST предлагает документировать, как именно bias проверяли, как его выявляли, смягчали и как продолжают мониторить.

Практический вывод: когда вы слышите «в модели есть bias», сначала уточните, о каком уровне идет речь: о правилах и нормах, о данных и выборке, или о человеческих решениях в процессе разработки. Иначе обсуждение быстро превращается в спор о разных вещах под одним словом.

Где применяется

• Проверка датасетов перед обучением. Если выборка непредставительна, NIST относит это к вычислительному/статистическому смещению. Для практики это означает аудит состава данных еще до обучения модели.
• Оценка качества по подгруппам. В NIST Measure прямо рекомендуется раздельно смотреть результаты по race, age, gender, ethnicity, ability и region, а не ограничиваться одной усредненной метрикой.
• Документирование проверки и смягчения. Для production-систем важно фиксировать, как bias проверяли, как идентифицировали, какие меры применили и как результаты мониторятся после запуска.
• Инструменты оценки и mitigation. Fairlearn описан как Python-пакет для оценки и улучшения fairness ML-моделей, а AIF360 — как набор метрик и алгоритмов смягчения bias для ML. Это не заменяет анализ контекста, но помогает сделать проверку воспроизводимой.

Если вам нужен прикладной чек-лист, смотрите отдельную инструкцию: как проверить модель на bias (смещения).

Практический пример

Представьте, что вы выпускаете ML-модель и хотите проверить ее на bias в духе рекомендаций NIST. Даже без сложной математики рабочий процесс может выглядеть так:

1. Определите контекст. Сразу зафиксируйте, какие группы и какие различия для вас значимы. NIST рекомендует раздельную оценку минимум по тем признакам, которые релевантны вашему случаю, например race, age, gender, ethnicity, ability, region.
2. Снимите базовые метрики. Посмотрите результат целиком по системе и отдельно по подгруппам. Если в агрегате все выглядит нормально, а внутри групп есть заметные расхождения, у вас уже есть основание для дальнейшей проверки.
3. Проверьте представительность данных. Если проблема связана с непредставительной выборкой или другой систематической ошибкой, NIST относит это к computational/statistical bias. На этом этапе вы не ищете «виноватого человека», а проверяете источник перекоса в данных и процессе измерения.
4. Проверьте человеческие решения по жизненному циклу. NIST отдельно указывает, что когнитивные эвристики и другие человеческие процессы принятия решений могут вносить bias на разных этапах. Значит, нужно пересмотреть не только код, но и процесс.
5. Используйте инструменты осознанно. Репозиторий Fairlearn позиционируется как пакет для оценки и улучшения fairness, но сам проект предупреждает: ноутбуки из ветки main могут не совпадать с версиями, установленными через pip. Репозиторий AIF360 указывает последнюю стабильную версию v0.6.1 от 2024-04-08, поддерживаемые конфигурации Python 3.8–3.11 на macOS, Ubuntu и Windows; для части алгоритмов могут понадобиться дополнительные зависимости.
6. Задокументируйте результат. По NIST важно не только проверить модель, но и записать, как bias проверялся, как был выявлен, как смягчался и как будет мониториться дальше.

Редакционное ограничение: в предоставленных источниках нет универсального численного порога, после которого модель можно считать «достаточно справедливой». Практический порог зависит от задачи, рисков и выбранной методики оценки.

Чем отличается от похожих терминов

Если вам нужен соседний термин, посмотрите также Fairness (справедливость модели).

Ограничения и заблуждения

• Заблуждение: bias — это только дисбаланс по демографии. NIST прямо пишет, что bias в AI шире, чем просто вопрос демографического баланса.
• Заблуждение: bias всегда означает злой умысел. NIST SP 1270 отдельно отмечает, что вычислительное/статистическое смещение может существовать без предубеждения и без дискриминационного намерения.
• Заблуждение: если общая метрика хорошая, проблемы нет. NIST Measure рекомендует раздельную оценку по подгруппам именно потому, что агрегированная метрика может скрывать расхождения.
• Заблуждение: bias — это проблема только модели. В рамке NIST перекос может входить в систему через правила, процессы, нормы, данные и человеческие решения по всему жизненному циклу.
• Ограничение текущих рекомендаций. AI RMF 1.0 у NIST — добровольный фреймворк, выпущенный 2023-01-26, и сейчас он пересматривается в рамках White House AI Action Plan. Это полезный ориентир, но формулировки и акценты в сопутствующих материалах могут меняться.
• Редакционное ограничение этой статьи. Верифицированный пакет источников здесь покрывает прежде всего fairness/societal bias и статистическое смещение выборки. Математический смысл bias как параметра модели и доменно-специфические метрики в источниках не раскрыты подробно.

Связанные термины и материалы

• Fairness (справедливость модели)
• Как проверить модель на bias (смещения)
• AI Agent (ИИ-агент)
• ASR (Automatic Speech Recognition, распознавание речи)

Источники

• AI Risk Management Framework | NIST
• AI Risks and Trustworthiness – NIST AI Risk Management Framework
• Towards a Standard for Identifying and Managing Bias in Artificial Intelligence
• Systemic Bias | NIST
• Responsible AI glossary | Machine Learning | Google for Developers
• Measure | AI Risk Management Framework Playbook – NIST
• fairlearn/fairlearn
• Trusted-AI/AIF360

Вопросы и ответы

Bias в ИИ и bias как параметр модели — это одно и то же?

Нет. Google в glossary Responsible AI отдельно предупреждает не путать fairness-related bias с model-parameter bias и prediction bias. В этой статье рассматривается социальный, системный и статистический смысл термина.

Bias всегда означает предвзятый умысел?

Нет. NIST SP 1270 прямо пишет, что computational/statistical bias может возникать из-за непредставительной выборки или другой систематической ошибки даже без предубеждения и без дискриминационного намерения.

Почему нельзя смотреть только на общую точность модели?

Потому что усредненная метрика может скрывать различия между подгруппами. NIST Measure рекомендует disaggregated evaluation — раздельную проверку результатов по race, age, gender, ethnicity, ability и region.

Можно ли полностью убрать bias из системы?

В предоставленных источниках акцент делается не на обещании полного устранения, а на цикле проверки, идентификации, mitigation и мониторинга. Практически это означает: bias нужно управлять постоянно, а не искать один «финальный фикс».