AI採用ツールにおけるアルゴリズム的バイアスが職場差別をいかに複製するか

企業はますます機械学習に基づいたソフトウェアを使用して、履歴書をスクリーニングし、候補者をランク付けし、初期段階のインタビューさえ実施しています。研究者と規制当局は、これらのシステムの多くが、基礎となる資格が同じであっても、異なる性別、人種、または年齢の応募者に対して異なる結果を生成することを発見しています。

採用におけるアルゴリズム的バイアスとは何か

アルゴリズム的バイアスは、機械学習システムの出力が職務に関連した資格とは無関係に、特定の集団を系統的に有利にしたり不利にしたりする場合に発生します。米国国立標準技術研究所（NIST）の起草案に関する公開コメント、SP 1270『人工知能のバイアスの特定と管理のための標準に向けて』（NISTのウェブサイトで公開）は、これを社会技術的問題として説明しています。バイアスはアルゴリズムの統計的設計を通じてだけでなく、それが訓練される過去データおよび展開される人間的・制度的文脈を通じて入り込むことができます。

採用では特に、モデルは通常、過去の履歴書、過去の採用決定、または大規模言語モデル（LLM）によって生成されたテキストで訓練されます。そのような過去データを生成したワークフォースが性別、人種、または年齢によって既に偏っていた場合（多くの業界の一般的な特徴）、モデルはその偏りをあたかもメリットの尺度であるかのように再現することを学べます。

実証された事例：Amazonの廃止された採用エンジン

最も初期かつ広く引用されている例の一つは、アメリカ自由人権協会（ACLU）によると、Amazonが2014年から始めて構築した実験的採用ツールに関わっています。このシステムは職務応募者を1つ星から5つ星でスコアリングするためのものでした。このシステムは、同社がおよそ10年間に受け取った履歴書のパターンを観察することで訓練されました。その時のプールは圧倒的に男性が多く、関連する技術職での男性優位を反映していました。

ACLUは、このツールが「女性の」という単語を含む履歴書にペナルティを与えたと報告しており、例えば「女性のラグビーチーム」といったものです。そして2つの女性大学のみの卒業生を格下げし、一方で「実行した」や「キャプチャした」など男性の技術履歴書によく見られる動詞を使用した履歴書を優遇していました。Amazonのエンジニアはそのパターンを修正しようとしましたが、ACLUの報告によると、根本的な問題は排除が保証されないと結論付けられ、ツールは2015年に、テストが始まってから約1年後にシャットダウンされました。

AI履歴書スクリーニングに関する最近の研究が発見したこと

より新しい研究は、多くの商用採用製品に組み込まれている大規模言語モデルをテストしました。ワシントン大学の研究は2024年10月にAAAI/ACM人工知能、倫理、社会会議で発表され、Mistral AI、Salesforce、Contextual AIからの3つのオープンソースLLMをテストしました。白人および黒人の男性と女性に関連する120の名前を550以上の実際の履歴書に割り当て、9つの職業にわたる500以上の実際の職務公開に対してランク付けし、300万以上の履歴書から職務への比較を生成しました。

ワシントン大学情報学部の筆頭著者Kyra Wilsonおよび共著者Aylin Caliskanは、白人と関連付けられた名前の履歴書が85％の時間で優遇されたのに対し、黒人と関連付けられた名前は9％であったことを発見しました。また、男性と関連付けられた名前は52％の時間で優遇されたのに対し、女性と関連付けられた名前は11％でした。モデルは黒人男性と関連付けられた名前を白人男性名より優遇することはなく、研究者は人種と性別が別々ではなく一緒に分析された場合にのみ見える可能性があるパターンだと述べました。

主要な知見一覧

バイアスメカニズムがどのように機能するか

記録された各事例において、パターンは、差別する明示的な指示というより、訓練データまたはモデルが訓練されたテキストから吸収した関連付けに遡ります。Amazonのツールは歴史的に男性優位の応募者プールから学びました。ワシントン大学の研究者によってテストされたLLMは、それらが訓練された広いテキストコーパスから名前ベースの人種および性別の関連付けを持ち込みました。

NISTの起草バイアス標準に関するコメントは、これらのシステムが既存の社会的および制度的構造内で動作するため、データセットからバイアスを削除するだけでは公正な結果を保証しないことに注意しています。これはAmazonの自身の経験と一致する結論であり、ACLUによる説明では、エンジニアの繰り返しの修正が根本的なパターンを解決できなかったため、プロジェクトは廃止されました。

規制当局がどのように対応しているか

ニューヨーク市の地方法144は、2023年7月から消費者労働者保護局によって施行されており、採用または昇進のために「自動化された雇用意思決定ツール」を使用する雇用主に、独立したバイアス監査を年1回実施すること、監査結果の要約を公開投稿すること、およびツール使用前に候補者に少なくとも10営業日の通知を与えることを要求しています。これは法律事務所Pivot Point Securityの措置の要約によります。違反は1件あたり500ドルから1,500ドルの範囲の民事罰金を受ける可能性があります。

カリフォルニア州人権委員会は、州の公正雇用住宅法の下で新しい規則を採択しました。これらの規則は2025年10月1日に有効になり、雇用主による「自動化決定システム」の使用が、人種、性別、または障害などの保護された特性に基づいて応募者または従業員に害をもたらす場合、州法に違反することを明確にしています。委員会自身の2025年6月の発表によります。規則は雇用主に自動化決定データを最低4年間保持することを要求し、障害関連情報を引き出す特定の自動化評価が違法な医学的問い合わせとしてカウントされる可能性があることに注意しています。

これが職務応募者と雇用主にとって何を意味するか

• これまでのところ採用AIで発見されたバイアスは、訓練データの既存の社会パターン（過去の履歴書、オンライン画像、または一般目的テキスト）を追跡しており、ランダムに現れるのではなく。
• 記録された影響には、歴史的に支配的な人口統計グループからの履歴書の優遇および同じ基礎となる資格に対して系統的に異なる結果の生成が含まれます。
• ニューヨーク市とカリフォルニア州は、これらのツールを使用する雇用主に対して、監査、記録保持、またはその両方の具体的な法的義務を課しており、ただし要件は管轄によって異なります。
• ワシントン大学の研究者は、1つの人口統計カテゴリーで特定されたバイアス（例えば、人種のみ）は、人種と性別が一緒に組み合わされたカテゴリーなど、カテゴリーが組み合わされたときにのみ見える異なる影響をマスクできると述べています。