Как алгоритмы искусственного интеллекта развивают смещение и какие меры защиты существуют для его остановки

Системы искусственного интеллекта все чаще используются для отсеивания соискателей, оценки заявок на кредиты, модерирования онлайн-контента и выявления подозреваемых для полиции. Когда эти системы производят систематически неравные результаты для отдельных групп, исследователи и регулирующие органы называют результат предвзятостью алгоритма. Вопрос о том, как формируется эта предвзятость и что с этим можно сделать, перешёл из научных работ в корпоративные советы директоров и законодательные органы.

Источники смещения

В отчёте 2022 года Национального института стандартов и технологий США (NIST), озаглавленном Special Publication 1270, сделан вывод о том, что предвзятость ИИ — это не только проблема данных. Авторы отчёта определяют три отдельных источника предвзятости в системах ИИ.

• Вычислительное и статистическое смещение — возникающее из обучающих данных или алгоритмов, которые не являются репрезентативными для населения, на которое будет влиять система.
• Человеческая предвзятость — вводится, когда разработчики, аннотаторы или пользователи применяют неполную информацию или стереотипы при построении или использовании системы.
• Системная предвзятость — существующие институциональные практики и исторические неравенства, которые кодируются в систему просто потому, что они присутствуют в записях, из которых она учится.

Главный исследователь NIST Рева Шварц заявила, что организации часто прибегают к узким техническим исправлениям, которые не могут выявить смещение, возникающее из более широкого социального контекста, в котором создаётся и развёртывается ИИ, согласно собственному резюме агентства по отчёту.

Два задокументированных случая

Amazon создала экспериментальный инструмент для отсеивания резюме, начиная с 2014 года, обучая его на примерно десятилетии резюме, которые компания получила. Поскольку технологический сектор исторически нанимал гораздо больше мужчин, чем женщин, большинство обучающих резюме поступило от мужчин-соискателей. Согласно отчёту MIT Technology Review, система научилась штрафовать резюме, содержащие слово «women's», и снижала оценку выпускников двух женских колледжей. Инженеры Amazon попытались исправить эту закономерность, но к 2017 году компания потеряла уверенность в том, что инструмент был нейтрален по признаку пола в других отношениях, и прекратила его использование.

Отдельное исследование 2018 года под названием Gender Shades, проведённое Джой Буоламвини из MIT Media Lab и Тимнит Гебру, тогда в Microsoft Research, протестировало три коммерческие системы анализа лиц на наборе данных из более чем 1200 изображений, классифицированных по тону кожи с использованием шкалы Фицпатрика. Согласно резюме выводов MIT News, уровень ошибок для светлокожих мужчин никогда не превышал 0,8%, в то время как уровень ошибок для темнокожих женщин варьировался от 20,8% до 34,7%, достигая 46,8% для самых темнокожих женщин в одной из систем.

Какие существуют меры защиты

Закон об ИИ Европейского союза, официально Регламент (ЕС) 2024/1689, вступил в силу 1 августа 2024 года и описывается Европейской комиссией как первая комплексная правовая база для ИИ в мире. Для систем, классифицированных как высокорисковые — включая те, которые используются в сфере занятости, образования и биометрической идентификации — регламент требует от поставщиков использовать обучающие, валидационные и тестовые данные надлежащего качества для минимизации риска дискриминационных результатов, а также принять меры по оценке рисков и их снижению до выхода системы на рынок, согласно собственному описанию правил Комиссией. Комиссия заявляет, что обязательства для высокорисковых систем, используемых в чувствительных областях, таких как занятость и биометрия, вступают в силу 2 декабря 2027 года, при этом правила для встроенного в регулируемые продукты ИИ начинают применяться 2 августа 2028 года.

В Соединённых Штатах собственный ответ NIST на свои выводы о смещении заключался в рекомендации «социально-технического» подхода: решение проблемы человеческого и системного смещения наряду с вычислительным смещением путём привлечения экспертов вне инженерной сферы и консультирования с затронутыми сообществами, а не полагаясь только на технические исправления, согласно резюме отчёта агентства.

Почему это важно сейчас

Платформы найма, инструменты оценки кредитоспособности и системы модерирования контента теперь распространены во многих отраслях, что означает, что ошибки, задокументированные в случаях Amazon и Gender Shades, могут повлиять на большое количество людей, прежде чем кто-либо заметит закономерность. Поэтапные сроки Закона об ИИ ЕС до 2028 года и продолжающиеся рекомендации NIST по управлению смещением указывают на то, что надзор над этими системами всё ещё строится, а не полностью завершён.