이 언어는 기계 번역이며, 사람의 검수를 거치지 않았습니다.

NIVΞCTOR
뉴스후원

카운터가 아직 시작되지 않았어요

인공지능 · 해설 기사

AI 알고리즘이 편향을 발생시키는 방식 및 이를 방지하기 위한 보안 조치

게시:

A flow chart displaying the algorithm behind a recommendation engine.
이미지: Jennifer A. Jacobi, Eric A. Benson, and Gregory D. Linden · CC0 · Wikimedia Commons

요약

AI 시스템은 대표성이 없는 훈련 데이터에서 학습하거나 설계에 내재된 인적 및 제도적 가정을 인코딩할 때 편향을 띠게 됩니다. 아마존의 채용 도구와 2018년 "Gender Shades" 안면 인식 연구 등 문서화된 사례들은 이것이 여성과 피부색이 어두운 사람들에게 불리할 수 있음을 보여줍니다. EU 규제 당국과 NIST 같은 표준화 기관들은 현재 고위험 시스템에 대한 편향 테스트를 요구하고 있습니다.

이 버전은 원문(English)의 기계 번역입니다. 원문 읽기

인공지능 시스템은 구직자의 이력서를 선별하거나, 대출 신청서를 점수화하거나, 온라인 콘텐츠를 관리하거나, 경찰이 용의자에 플래그를 지정하기 위해 점점 더 많이 사용되고 있습니다. 이러한 시스템이 특정 집단에 대해 체계적으로 불평등한 결과를 생성할 때, 연구자와 규제 당국은 그 결과를 알고리즘 편향이라고 부릅니다. 그 편향이 어떻게 형성되는지, 그리고 이에 대해 무엇을 할 수 있는지에 관한 문제는 학술 논문에서 기업 이사회와 의회로 이동했습니다.

편향의 출처

2022년 미국 국립표준기술연구소(NIST)가 발표한 "Special Publication 1270"이라는 보고서는 AI 편향이 단순히 데이터 문제가 아니라고 결론 내렸습니다. 보고서 저자들은 AI 시스템의 편향의 세 가지 서로 다른 원인을 파악했습니다.

NIST 주임 연구원 Reva Schwartz는 조직이 AI가 구축되고 배포되는 광범위한 사회적 맥락에서 비롯된 편향을 포착하지 못하는 좁은 기술적 수정에 종종 의존한다고 말했으며, 이는 기관 자체의 보고서 요약에 따릅니다.

문서화된 두 가지 사례

아마존은 2014년부터 실험적 이력서 스크리닝 도구를 개발했으며, 회사가 받은 약 10년의 이력서로 훈련시켰습니다. 기술 부문이 역사적으로 여성보다 훨씬 더 많은 남성을 고용했기 때문에, 훈련 이력서의 대부분은 남성 지원자로부터 온 것입니다. MIT Technology Review의 보도에 따르면, 이 시스템은 "women's"라는 단어가 포함된 이력서에 페널티를 주도록 학습했으며, 여자 대학 졸업생을 강등시켰습니다. 아마존 엔지니어들은 이러한 패턴을 수정하려고 시도했지만, 2017년까지 회사는 도구가 다른 측면에서 성별 중립적이라는 신뢰를 잃었고 사용을 중단했습니다.

MIT Media Lab의 Joy Buolamwini와 Microsoft Research의 Timnit Gebru가 실시한 2018년의 별도 연구인 "Gender Shades"는 Fitzpatrick 척도를 사용하여 피부 색조로 분류된 1,200개 이상의 이미지 데이터셋에서 3개의 상용 안면 인식 시스템을 테스트했습니다. MIT News의 조사 결과 요약에 따르면, 피부색이 밝은 남성의 오류율은 0.8%를 초과하지 않았으며, 피부색이 어두운 여성의 오류율은 20.8%에서 34.7% 범위였으며, 한 시스템에서 가장 피부색이 어두운 여성의 경우 46.8%에 달했습니다.

상용 시스템에서 3명 중 1명이 실패할 경우, 이진 분류 작업으로 축소된 것이므로, 이러한 실패율이 다른 부분군에 있었다면 허용되었을까요?

— MIT Media Lab 연구원 Joy Buolamwini, Gender Shades 조사 결과에 대한 의견
문서화된 두 가지 편향 사례 비교
사례테스트된 시스템발견된 편향결과
아마존 채용 알고리즘(2014-2017)내부 이력서 스크리닝 AI"women's"이라는 단어와 여자 대학 이름이 포함된 이력서에 페널티 부과MIT Technology Review에 따르면 도구 폐기됨
Gender Shades 연구(2018)3개의 상용 안면 인식 프로그램피부색이 밝은 남성의 0.8% 대비 어두운 피부색 여성의 최대 46.8% 오류율MIT News에 따르면 공급업체 변경 유도

존재하는 보안 조치

유럽연합의 AI 법, 정식으로는 규정(EU) 2024/1689는 2024년 8월 1일에 발효했으며, 유럽 위원회에 의해 전 세계 최초의 포괄적 AI 법적 프레임워크로 설명됩니다. 고용, 교육 및 생체 인식에 사용되는 시스템을 포함하여 고위험 시스템으로 분류된 시스템의 경우, 규정은 차별적 결과의 위험을 최소화하기 위해 충분한 품질의 훈련, 검증 및 테스트 데이터를 사용하도록 공급자에게 요구하며, 시스템이 시장에 도달하기 전에 위험 평가 및 완화 조치를 마련하도록 요구합니다. 위원회 자체의 규칙 설명에 따르면, 고용 및 생체 인식과 같은 민감한 영역에 사용되는 고위험 시스템의 의무는 2027년 12월 2일에 적용되며, 규제 대상 제품에 내장된 AI에 대한 규칙은 2028년 8월 2일을 따릅니다.

미국에서는 NIST의 편향 조사 결과에 대한 대응은 "사회기술적" 접근 방식을 권장하는 것이었습니다. 기술적 수정만에 의존하는 대신 엔지니어링 외부의 전문가를 참여시키고 영향을 받는 커뮤니티와 상담하여 인적 및 제도적 편향과 함께 계산상 편향을 해결하는 것입니다. 기관의 보고서 요약에 따릅니다.

왜 지금 이것이 중요한가

채용 플랫폼, 신용 점수 도구 및 콘텐츠 조정 시스템은 현재 많은 산업 전반에 걸쳐 일반적이므로, 아마존과 Gender Shades 사례에서 문서화된 종류의 오류가 대량의 사람들에게 영향을 미칠 수 있으며 누군가가 패턴을 알아차리기 전에 발생할 수 있습니다. EU AI 법의 2028년까지의 단계적 마감일과 NIST의 지속적인 편향 관리 지침은 이러한 시스템의 감시가 여전히 구축 중이며 이미 완성되지 않았음을 나타냅니다.

자주 묻는 질문

알고리즘 편향이란 무엇인가요?
AI 시스템이 특정 집단에 대해 체계적으로 다르고 종종 불리한 결과를 생성할 때이며, 훈련 데이터, 설계의 인적 결정 또는 기존의 제도적 불평등에서 비롯되며, NIST의 2022년 보고서에 따릅니다.
아마존의 AI 채용 도구가 실제로 여성을 차별했나요?
MIT Technology Review의 보도에 따르면, 실험적 도구는 "women's"라는 단어가 포함된 이력서를 강등시켰고 여자 대학 졸업생에게 페널티를 주었습니다. 아마존은 2017년까지 도구가 성별 중립적이라는 신뢰를 잃은 후 시스템 사용을 중단했습니다.
피부색이 어두운 여성의 경우 안면 인식이 얼마나 나빴나요?
2018년 Gender Shades 연구는 세 가지 상용 시스템 전반에서 피부색이 어두운 여성의 오류율이 34.7%에서 46.8%에 달했으며, 피부색이 밝은 남성의 0.8% 미만과 비교되었으며, MIT News의 연구 요약에 따릅니다.
현재 기업들에 AI의 편향을 테스트하도록 요구하는 법이 있나요?
EU AI 법은 고위험 AI 시스템에 대한 편향 테스트와 데이터 품질 검사를 요구하며, 고용 및 생체 인식과 같은 민감한 영역의 의무는 유럽 위원회에 따라 2027년 12월 2일에 적용됩니다.
나쁜 훈련 데이터가 AI 편향의 유일한 원인인가요?
아니요. NIST의 2022년 보고서는 계산/통계적, 인적, 제도적 편향의 3가지 원인을 파악했으며, 제도적 및 사회적 요인이 데이터 문제와 함께 기여한다고 주장합니다.

출처

  1. NIST — There's More to AI Bias Than Biased Data, NIST Report Highlights (2022)
  2. MIT News — Study finds gender and skin-type bias in commercial artificial-intelligence systems (2018)
  3. MIT Technology Review — Amazon ditched AI recruitment software because it was biased against women (2018)
  4. European Commission — Regulatory framework proposal on artificial intelligence (AI Act)

이 글은 인공지능으로 작성되었고 게시 전에 자동 출처 검증을 거쳤습니다. 오류를 발견하면 정정을 요청해 주세요. 정정 또는 반론 요청 · 제작 원칙

관련 기사