この言語は機械翻訳であり、人による確認は行われていません。

NIVΞCTOR
ニュース支援する

カウンターはまだ始まっていません

人工知能 · 解説記事

AIアルゴリズムがバイアスを発生させる仕組みと、それを防ぐためのセーフガード

公開:

A flow chart displaying the algorithm behind a recommendation engine.
画像: Jennifer A. Jacobi, Eric A. Benson, and Gregory D. Linden · CC0 · Wikimedia Commons

要点

AIシステムは代表的でないトレーニングデータから学習したり、その設計に組み込まれた人的および制度的仮定をエンコードしたりするとバイアスを持つようになります。文書化されたケース―Amazonの採用ツールと2018年の「Gender Shades」顔認識研究―は、これが女性とより暗い肌色の人々に不利をもたらす可能性があることを示しています。EUの規制当局とNISTなどの標準化機関は、現在、高リスクシステムに対するバイアステストを要求しています。

この版は原文（English）の機械翻訳です。 原文を読む

人工知能システムは、求職者の応募書類をスクリーニングしたり、ローン申請をスコアリングしたり、オンラインコンテンツを調整したり、警察が容疑者をフラグ付けしたりするために、ますます使用されています。これらのシステムが特定のグループに対して体系的に不平等な結果を生み出す場合、研究者と規制当局はその結果をアルゴリズムバイアスと呼びます。そのバイアスがどのように形成されるのか、そしてそれについて何ができるかという問題は、学術論文から企業の役員室と議会へと移行しました。

バイアスの出所

2022年に米国国立標準技術研究所(NIST)から発表された「Special Publication 1270」というレポートは、AIのバイアスがデータの問題だけではないと結論づけました。レポートの著者たちは、AIシステム内のバイアスの3つの異なる原因を特定しました。

NIST主席研究官のReva Schwartzは、組織がしばしば、AIが構築・展開される広範な社会的背景から生じるバイアスを捉えられない狭い技術的修正に頼ってしまうと述べており、それは機関自体のレポート要約によると述べられています。

文書化された2つのケース

Amazonは2014年から実験的な職務経歴書スクリーニングツールを構築し、会社が受け取った約10年分の職務経歴書でそれを訓練しました。技術部門が歴史的には女性よりも男性をはるかに多く雇用してきたため、訓練職務経歴書の大多数は男性申請者からのものでした。MIT Technology Reviewの報道によると、このシステムは「women's」という単語を含む職務経歴書にペナルティを与えることを学び、2つの女子大学の卒業生を格下げしました。Amazonのエンジニアはこのパターンを修正しようとしましたが、2017年までに同社はツールが他の点で性別中立的であるかどうかについての信頼を失い、使用を中止しました。

MIT Media LabのJoy BuolamwiniとMicrosoft ResearchのTimnit Gebruが実施した2018年の別の研究「Gender Shades」は、Fitzpatrickスケールを使用して肌の色で分類された1,200以上の画像のデータセットで3つの商用顔認識システムをテストしました。MIT Newsの調査結果の要約によると、肌色が薄い男性のエラー率は0.8%を超えず、肌色が暗い女性のエラー率は20.8%から34.7%の範囲であり、1つのシステムで最も肌色が暗い女性で46.8%に達しました。

商用システムで3人に1人が失敗する場合、それは二項分類タスクに縮小されており、これらの失敗率が別のサブグループにあった場合、それは許可されていたであろうかと問う必要があります。

— MIT Media Lab研究者のJoy Buolamwini、Gender Shadesの調査結果についてのコメント
文書化された2つのバイアスケースの比較
ケーステストされたシステム発見されたバイアス結果
Amazonの採用アルゴリズム(2014-2017)内部的な職務経歴書スクリーニングAI「women's」と女子大学の名前を含む職務経歴書にペナルティを課すMIT Technology Reviewによると、ツールは廃止された
Gender Shades研究(2018)3つの商用顔認識プログラム肌色が薄い男性の0.8%対最も暗い肌色の女性では最大46.8%のエラー率MIT Newsによると、ベンダーの変更を促した

存在するセーフガード

欧州連合のAI法、正式には規制(EU) 2024/1689は、2024年8月1日に発効し、欧州委員会によって世界初の包括的なAI法的枠組みとして説明されています。採用、教育、生体認証などに使用されるシステムを含む高リスクシステムに分類される場合、規制は、差別的な結果のリスクを最小化するために十分な品質の訓練、検証、およびテストデータを使用し、システムが市場に到達する前にリスク評価と軽減措置を講じるようにプロバイダーに要求しており、委員会自体の規則の説明によれば、採用と生体認証などの機密エリアで使用される高リスクシステムの義務は2027年12月2日に適用可能になり、規制対象製品に組み込まれたAIの規則は2028年8月2日に従います。

米国では、NISTのバイアス調査結果への対応は、エンジニアリングの外部の専門家を関与させ、影響を受けたコミュニティに相談し、技術的な修正だけに頼るのではなく、人的および制度的バイアスとともに計算上のバイアスに対処する「社会技術的」アプローチを推奨することであり、機関のレポート要約によると述べられています。

なぜこれが今重要なのか

採用プラットフォーム、信用スコアリングツール、およびコンテンツ調整システムは、現在、多くの業界全体で一般的であり、つまりAmazonとGender Shadesのケースで文書化された種類のエラーが大人数に影響を与える可能性があり、誰かがパターンに気付く前にあります。EU AI法の2028年までの段階的な期限とNISTの継続的なバイアス管理ガイダンスは、これらのシステムの監視がまだ構築されているのであり、すでに完成していないことを示しています。

よくある質問

アルゴリズムバイアスとは何ですか?
これは、AIシステムが特定のグループの人々に対して体系的に異なり、多くの場合不利な結果を生み出すときのことであり、トレーニングデータ、設計における人的決定、または既存の制度的不平等から生じており、NISTの2022年レポートによると述べられています。
Amazonのai採用ツールは本当に女性に対して差別を行いましたか?
MIT Technology Reviewの報道によると、実験的なツールは「women's」という単語を含む職務経歴書を格下げし、女子大学の卒業生に対してペナルティを与えました。Amazonは2017年までにシステムが性別中立的であることへの信頼を失った後、システムの使用を中止しました。
肌色が暗い女性にとって顔認識はどの程度悪かったのか?
2018年のGender Shades研究では、3つの商用システム全体で肌色が暗い女性のエラー率は34.7%から46.8%に達し、肌色が薄い男性の0.8%未満と比較されており、MIT Newsの研究の要約によると述べられています。
現在、AIのバイアスをテストするように企業に要求する法律はありますか?
EU AI法は高リスクAIシステムのバイアステストとデータ品質チェックを要求しており、採用と生体認証などの機密エリアの義務は欧州委員会によると2027年12月2日に適用可能になります。
悪いトレーニングデータはAIバイアスの唯一の原因ですか?
いいえ。NISTの2022年レポートは、計算上/統計上、人的、および制度的バイアスの3つの原因を特定し、制度的および社会的要因がデータの問題と並んで寄与していると主張しています。

出典

  1. NIST — There's More to AI Bias Than Biased Data, NIST Report Highlights (2022)
  2. MIT News — Study finds gender and skin-type bias in commercial artificial-intelligence systems (2018)
  3. MIT Technology Review — Amazon ditched AI recruitment software because it was biased against women (2018)
  4. European Commission — Regulatory framework proposal on artificial intelligence (AI Act)

この記事は人工知能で作成され、公開前に出典の自動チェックを通過しています。誤りを見つけたら訂正を依頼してください。 訂正・反論を依頼する · 制作方針

関連記事