Как алгоритмическая предвзятость в инструментах AI для найма может воспроизвести дискриминацию на рабочем месте

Компании все чаще используют программное обеспечение на основе машинного обучения для просмотра резюме, ранжирования кандидатов и даже проведения ранних этапов собеседований. Исследователи и регуляторы обнаружили, что несколько из этих систем производят разные результаты для соискателей разного пола, расы или возраста, даже если их квалификация одинакова.

Что такое алгоритмическая предвзятость в найме?

Алгоритмическая предвзятость возникает, когда результаты системы машинного обучения систематически благоприятствуют или ущемляют определенные группы, независимо от квалификации, имеющей отношение к работе. Публичные комментарии к проекту стандарта Национального института стандартов и технологии США (NIST), SP 1270, "На пути к стандарту для выявления и управления предвзятостью в искусственном интеллекте", опубликованные на веб-сайте NIST, описывают это как социотехническую проблему: предвзятость может проникнуть не только через статистический дизайн алгоритма, но через исторические данные, на которых он был обучен, и через человеческий и институциональный контекст, в котором он применяется.

При найме конкретно модель обычно обучается на прошлых резюме, прошлых решениях о найме или тексте, созданном большой языковой моделью (LLM). Если рабочая сила, которая произвела эти исторические данные, сама была смещена по признаку пола, расы или возраста — общая черта многих отраслей — модель может научиться воспроизводить это смещение, как будто это мера мастерства.

Задокументированный случай: отклоненный инструмент найма Amazon

Один из самых ранних и широко цитируемых примеров касается экспериментального инструмента найма, который Amazon начал создавать с 2014 года для оценки кандидатов на вакансии от одной до пяти звезд, согласно Американскому союзу защиты гражданских свобод (ACLU). Система была обучена путем наблюдения закономерностей в резюме, полученных компанией на протяжении примерно десяти лет, пула, который был подавляющим большинством мужским, отражая доминирование мужчин в затронутых технических ролях.

ACLU сообщает, что инструмент штрафовал резюме, содержащие слово "женский" — например, "женская команда по регби" — и понижал в рейтинге выпускниц двух колледжей только для женщин, одновременно отдавая предпочтение резюме, в которых использовались глаголы, более распространенные в мужских технических резюме, такие как "executed" и "captured". Инженеры Amazon попытались исправить эту закономерность, но, согласно рассказу ACLU об освещении проекта, пришли к выводу, что основную проблему невозможно гарантировать и закрыли инструмент в 2015 году, примерно через год после того, как его начали тестировать.

Что показали недавние исследования AI при просмотре резюме

Новые исследования тестировали большие языковые модели, которые теперь встроены во многие коммерческие продукты найма. Исследование Университета Вашингтона, представленное в октябре 2024 года на конференции AAAI/ACM по искусственному интеллекту, этике и обществу, тестировало три открытых LLM — от Mistral AI, Salesforce и Contextual AI — путем назначения 120 имен, связанных с белыми и черными мужчинами и женщинами, более чем 550 реальным резюме и ранжирования их против более 500 реальных объявлений о вакансиях в девяти профессиях, что привело к более чем трем миллионам сравнений резюме с вакансией.

Главный автор Кира Уилсон и соавтор Айлин Калиськан, обе из Школы информации Университета Вашингтона, обнаружили, что резюме с именами, связанными с белокожими людьми, были предпочтены в 85% случаев по сравнению с 9% для имен, связанных с чернокожими людьми, а имена, связанные с мужчинами, предпочитались в 52% случаев по сравнению с 11% для имен, связанных с женщинами. Модели никогда не отдавали предпочтение именам, связанным с чернокожими мужчинами, перед белыми мужскими именами, закономерность, которую исследователи сказали, стала видна только при анализе расы и пола вместе, а не отдельно.

Ключевые выводы в целом

Как работает механизм предвзятости

В каждом задокументированном случае закономерность восходит к данным обучения или ассоциациям, которые модель усвоила из текста, на котором она была обучена, а не к явному указанию дискриминировать. Инструмент Amazon учился на исторически мужском пуле соискателей. LLM, протестированные исследователями Университета Вашингтона, несли связанные с именами расовые и гендерные ассоциации из более широких текстовых корпусов, на которых они были обучены.

Комментарии к проекту стандарта NIST отмечают, что поскольку эти системы функционируют в рамках существующих социальных и институциональных структур, удаление предвзятости только из набора данных не гарантирует справедливый результат — вывод, который соответствует собственному опыту Amazon, как описано ACLU, когда повторные исправления инженеров не смогли разрешить основную закономерность.

Как реагируют регуляторы

Местный закон Нью-Йорка 144, применяемый Департаментом защиты потребителей и рабочих с июля 2023 года, требует от работодателей, использующих "автоматизированный инструмент принятия решений по занятости" при найме или повышении, заказать независимый аудит предвзятости ежегодно, публично опубликовать сводку результатов аудита и дать кандидатам по крайней мере десять рабочих дней уведомления перед использованием инструмента, согласно резюме мер, предоставленному юридической фирмой Pivot Point Security. Нарушения могут привести к гражданским штрафам в размере от 500 до 1500 долларов за нарушение, согласно тому же резюме.

Совет по гражданским правам Калифорнии принял новые нормативные акты в соответствии с законом штата о справедливой занятости и жилищном обеспечении, вступившие в силу 1 октября 2025 года, уточняющие, что использование работодателем "системы автоматизированного принятия решений" может нарушить закон штата, если она причиняет вред соискателям или работникам на основе защищенных характеристик, таких как раса, пол или инвалидность, согласно собственному объявлению Совета от июня 2025 года. Нормативные акты требуют от работодателей сохранять данные автоматизированного принятия решений в течение как минимум четырех лет и отмечают, что некоторые автоматизированные оценки, запрашивающие информацию, связанную с инвалидностью, могут считаться незаконными медицинскими запросами.

Что это означает для соискателей работы и работодателей

• Обнаруженная предвзятость в AI для найма до сих пор отслеживала существующие социальные закономерности в данных обучения — исторические резюме, онлайн-изображения или текст общего назначения — а не появлялась случайно.
• Задокументированные эффекты включают предпочтение резюме из исторически доминирующих демографических групп и производство систематически различных результатов для одинаковых основных квалификаций.
• Нью-Йорк и Калифорния теперь налагают конкретные юридические обязательства — аудиты, ведение записей или оба — на работодателей, использующих эти инструменты, хотя требования различаются по юрисдикциям.
• Исследователи Университета Вашингтона говорят, что предвзятость, выявленная в одной демографической категории (например, только раса), может скрыть различные эффекты, видимые только при объединении категорий, таких как раса и пол вместе.