AI 채용 도구의 알고리즘 편향이 직장 차별을 어떻게 재현하는가

기업들은 점점 더 머신 러닝 기반 소프트웨어를 사용하여 이력서를 선별하고, 지원자들을 순위 매기고, 심지어 초기 단계의 인터뷰를 진행하고 있습니다. 연구자들과 규제당국은 이러한 시스템 중 다수가 기본적인 자격이 동일하더라도 다양한 성별, 인종, 또는 연령의 지원자에 대해 다른 결과를 생성한다는 것을 발견했습니다.

채용의 알고리즘 편향이란 무엇인가

알고리즘 편향은 머신 러닝 시스템의 결과물이 직무 관련 자격과 독립적으로 특정 집단을 체계적으로 선호하거나 불리하게 할 때 발생합니다. 미국 국립표준기술연구소(NIST)의 초안 표준에 대한 공개 의견인 SP 1270, '인공지능의 편향 식별 및 관리를 위한 표준을 향하여'(NIST의 웹사이트에 게시됨)는 이를 사회기술적 문제로 설명합니다. 편향은 알고리즘의 통계적 설계를 통해서뿐 아니라 훈련되는 과거 데이터와 배치되는 인간적, 제도적 맥락을 통해서도 들어올 수 있습니다.

특히 채용에서 모델은 일반적으로 과거 이력서, 과거 채용 결정, 또는 대규모 언어 모델(LLM)에 의해 생성된 텍스트에 대해 훈련됩니다. 그 과거 데이터를 생성한 인력이 성별, 인종 또는 연령으로 이미 왜곡되었다면(많은 산업의 일반적인 특징) 모델은 그 왜곡을 마치 업무 능력의 척도인 것처럼 재현하는 것을 학습할 수 있습니다.

기록된 사례: Amazon의 폐기된 채용 엔진

가장 초기이며 가장 널리 인용되는 사례 중 하나는 미국 자유인권연맹(ACLU)에 따르면 Amazon이 2014년부터 구축하기 시작한 실험적 채용 도구를 포함합니다. 이 시스템은 직무 지원자들을 1별에서 5별로 평가하도록 설계되었습니다. 이 시스템은 회사가 대략 10년 동안 받은 이력서의 패턴을 관찰함으로써 훈련되었으며, 그 풀은 압도적으로 남성이 많았고, 관련된 기술 직무에서의 남성 지배를 반영했습니다.

ACLU는 이 도구가 '여성의'라는 단어를 포함하는 이력서에 불이익을 주었다고 보고하며, 예를 들어 '여성 럭비팀'이 그렇습니다. 그리고 두 개의 여성만의 대학 졸업자들을 강등시킨 반면, '실행'과 '포착'과 같이 남성의 기술 이력서에서 더 흔한 동사를 사용한 이력서를 선호했습니다. Amazon의 엔지니어들은 그 패턴을 수정하려고 시도했지만, ACLU의 보도에 따르면 근본적인 문제는 제거가 보장될 수 없다고 결론지었고, 테스트가 시작된 지 약 1년 후인 2015년에 도구를 폐기했습니다.

AI 이력서 스크리닝에 관한 최근 연구가 발견한 사항

더 최신의 연구는 이제 많은 상용 채용 제품에 포함된 대규모 언어 모델을 테스트했습니다. 워싱턴 대학교의 연구는 2024년 10월 AAAI/ACM 인공지능, 윤리 및 사회 컨퍼런스에서 발표되었으며, Mistral AI, Salesforce, Contextual AI의 3개의 오픈 소스 LLM을 테스트했습니다. 백인 및 흑인의 남성과 여성과 연관된 120개의 이름을 550개 이상의 실제 이력서에 할당하고, 9개의 직업에 걸쳐 500개 이상의 실제 직무 공고에 대해 순위를 매기며, 300만 이상의 이력서-직무 비교를 생성했습니다.

워싱턴 대학교 정보학과의 주저자 Kyra Wilson과 공동저자 Aylin Caliskan은 백인과 연관된 이름의 이력서가 흑인과 연관된 이름의 9%에 비해 85%의 시간에 호의적으로 평가되었음을 발견했습니다. 또한 남성과 연관된 이름이 여성과 연관된 이름의 11%에 비해 52%의 시간에 선호되었습니다. 모델들은 흑인 남성과 연관된 이름을 백인 남성 이름보다 호의적으로 평가하지 않았으며, 연구자들은 인종과 성별이 별도로 분석된 것이 아니라 함께 분석될 때에만 보이는 패턴이라고 말했습니다.

주요 발견 요약

편향 메커니즘이 어떻게 작동하는가

기록된 각 사례에서 패턴은 차별하라는 명시적 지시가 아니라 훈련 데이터 또는 모델이 훈련된 텍스트에서 흡수한 연관성으로 거슬러 올라갑니다. Amazon의 도구는 역사적으로 남성 지배적인 지원자 풀에서 학습했습니다. 워싱턴 대학교 연구자들이 테스트한 LLM들은 그들이 훈련된 광범위한 텍스트 말뭉치에서 이름 기반의 인종 및 성별 연관성을 가져왔습니다.

NIST의 초안 편향 표준에 대한 의견은 이러한 시스템이 기존의 사회적, 제도적 구조 내에서 작동하기 때문에, 데이터 세트에서 편향을 제거하는 것만으로는 공정한 결과를 보장할 수 없음을 주목합니다. 이는 Amazon의 자체 경험과 일치하는 결론이며, ACLU의 설명에 따르면 엔지니어들의 반복적인 수정 시도가 근본적인 패턴을 해결할 수 없었기 때문에 프로젝트가 폐기되었습니다.

규제 당국이 어떻게 대응하고 있는가

뉴욕시의 지방법 144는 2023년 7월부터 소비자 및 근로자 보호부에 의해 시행되었으며, 채용 또는 승진을 위해 '자동 고용 의사 결정 도구'를 사용하는 고용주들이 독립적인 편향 감시를 연 1회 수행하고, 감시 결과의 요약을 공개 게시하며, 도구 사용 전 지원자들에게 최소 10 업무일의 통지를 제공할 것을 요구합니다. 법률 회사 Pivot Point Security의 이 조치 요약에 따르면, 위반은 위반당 $500에서 $1,500의 범위의 민사 벌금을 초래할 수 있습니다.

캘리포니아 주 민권 위원회는 주의 공정 고용 및 주택법 하에서 새로운 규정을 채택했습니다. 이러한 규정은 2025년 10월 1일부터 유효하며, 고용주의 '자동 의사 결정 시스템' 사용이 인종, 성별 또는 장애와 같은 보호된 특성에 기반하여 지원자 또는 직원에게 해를 끼칠 경우 주법을 위반할 수 있음을 명확히 합니다. 위원회 자체의 2025년 6월 발표에 따르면, 규정은 고용주들이 자동화된 의사 결정 데이터를 최소 4년 동안 보유할 것을 요구하며, 장애 관련 정보를 유도하는 특정 자동화된 평가가 위법한 의료 조사로 계산될 수 있음을 주목합니다.

이것이 구직자와 고용주에게 의미하는 바

• 지금까지 채용 AI에서 발견된 편향은 훈련 데이터(과거 이력서, 온라인 이미지, 또는 일반 목적 텍스트)의 기존 사회 패턴을 추적했으며, 무작위로 나타난 것이 아닙니다.
• 기록된 영향은 역사적으로 지배적인 인구통계 그룹의 이력서 선호 및 동일한 기본 자격에 대해 체계적으로 다른 결과의 생성을 포함합니다.
• 뉴욕시와 캘리포니아는 이제 이러한 도구를 사용하는 고용주에게 구체적인 법적 의무(감시, 기록 보관, 또는 둘 다)를 부과하고 있으며, 요구사항은 관할권에 따라 다릅니다.
• 워싱턴 대학교 연구자들은 하나의 인구통계 카테고리에서 식별된 편향(예: 인종만)이 인종과 성별 함께와 같이 카테고리들이 결합될 때에만 보이는 다른 효과를 가릴 수 있다고 말합니다.