Cómo los sesgos algorítmicos en herramientas de IA para contratación pueden replicar la discriminación en el lugar de trabajo

Las empresas utilizan cada vez más software basado en aprendizaje automático para revisar currículums, clasificar candidatos e incluso realizar entrevistas en etapas tempranas. Los investigadores y reguladores han descubierto que varios de estos sistemas producen resultados diferentes para solicitantes de diferentes géneros, razas o edades, incluso cuando las calificaciones subyacentes son idénticas.

¿Qué es el sesgo algorítmico en la contratación?

El sesgo algorítmico ocurre cuando los resultados de un sistema de aprendizaje automático favorecen o perjudican sistemáticamente a ciertos grupos, independientemente de las calificaciones relevantes para el trabajo. Los comentarios públicos sobre un proyecto de estándar del Instituto Nacional de Estándares y Tecnología (NIST) de EE. UU., SP 1270, 'Hacia un estándar para identificar y gestionar sesgos en inteligencia artificial', publicado en el sitio web de NIST, describen esto como un problema socio-técnico: el sesgo puede entrar no solo a través del diseño estadístico de un algoritmo sino a través de los datos históricos en los que se entrena y del contexto humano e institucional en el que se implementa.

En contratación específicamente, un modelo suele entrenarse en currículums anteriores, decisiones de contratación anteriores o texto generado por un modelo de lenguaje de gran escala (LLM). Si la fuerza laboral que produjo esos datos históricos fue en sí misma sesgada por género, raza o edad — una característica común en muchas industrias — el modelo puede aprender a reproducir ese sesgo como si fuera una medida de mérito.

Un caso documentado: el motor de reclutamiento descartado de Amazon

Uno de los ejemplos más antiguos y más citados involucra una herramienta de reclutamiento experimental que Amazon construyó a partir de 2014 para calificar candidatos a trabajos de una a cinco estrellas, según la Unión Americana por las Libertades Civiles (ACLU). El sistema fue entrenado observando patrones en los currículums que la empresa había recibido durante aproximadamente una década, un conjunto que era abrumadoramente masculino, reflejando el dominio masculino en los roles técnicos involucrados.

El ACLU informa que la herramienta penalizaba los currículums que contenían la palabra 'mujeres' — por ejemplo, 'equipo de rugby femenino' — y rebajaba los graduados de dos universidades exclusivamente femeninas, mientras favorecía los currículums que usaban verbos más comunes en los currículums técnicos masculinos, como 'ejecutado' y 'capturado.' Los ingenieros de Amazon intentaron arreglar el patrón pero, según la relación del ACLU sobre el proyecto, concluyeron que el problema subyacente no podía ser garantizado y cerraron la herramienta en 2015, aproximadamente un año después de que comenzara a ser probada.

Lo que la investigación reciente sobre la revisión de currículums por IA encontró

Investigaciones más nuevas han probado los modelos de lenguaje de gran escala ahora incorporados en muchos productos comerciales de contratación. Un estudio de la Universidad de Washington presentado en octubre de 2024 en la Conferencia AAAI/ACM sobre Inteligencia Artificial, Ética y Sociedad probó tres LLM de código abierto — de Mistral AI, Salesforce e Contextual AI — asignando 120 nombres asociados con hombres y mujeres blancos y negros a más de 550 currículums reales y clasificándolos contra más de 500 ofertas de trabajo reales en nueve ocupaciones, produciendo más de tres millones de comparaciones currículum-a-puesto.

La autora principal Kyra Wilson y la coautora Aylin Caliskan, ambas de la Escuela de Información de la Universidad de Washington, encontraron que los currículums con nombres asociados con blancos fueron favorecidos el 85% de las veces en comparación con el 9% para nombres asociados con negros, y los nombres asociados con hombres fueron preferidos el 52% de las veces en comparación con el 11% para nombres asociados con mujeres. Los modelos nunca favorecieron los nombres asociados con hombres negros sobre los nombres de hombres blancos, un patrón que los investigadores dijeron se hizo visible solo cuando la raza y el género se analizaron juntos en lugar de por separado.

Hallazgos clave de un vistazo

Cómo funciona el mecanismo del sesgo

En cada caso documentado, el patrón se remonta a los datos de entrenamiento o asociaciones que el modelo absorbió del texto en el que fue entrenado, en lugar de una instrucción explícita de discriminar. La herramienta de Amazon aprendió de un grupo de solicitantes históricamente masculino. Los LLM probados por investigadores de la Universidad de Washington llevaban asociaciones de género y raza basadas en nombres del corpus de texto más amplio en el que fueron entrenados.

Los comentarios sobre el proyecto de estándar de sesgo de NIST señalan que debido a que estos sistemas operan dentro de estructuras sociales e institucionales existentes, eliminar el sesgo del conjunto de datos solo no garantiza un resultado justo — una conclusión que coincide con la experiencia propia de Amazon, como la describe el ACLU, cuando los intentos repetidos de reparación de los ingenieros no lograron resolver el patrón subyacente.

Cómo los reguladores están respondiendo

La Ley Local 144 de Nueva York, ejecutada por el Departamento de Protección del Consumidor y de Trabajadores desde julio de 2023, requiere que los empleadores que utilicen una 'herramienta automatizada de toma de decisiones de empleo' para contratación o promoción contraten una auditoría de sesgo independiente anual, publiquen públicamente un resumen de los resultados de la auditoría y den a los candidatos al menos diez días hábiles de aviso antes de que se use la herramienta, según el resumen de la medida de la firma de abogados Pivot Point Security. Las violaciones pueden resultar en sanciones civiles que van desde $500 a $1.500 por violación, según el mismo resumen.

El Consejo de Derechos Civiles de California adoptó nuevas regulaciones bajo la Ley de Vivienda y Empleo Justo del estado, efectivas a partir del 1 de octubre de 2025, aclarando que el uso de un empleador de un 'sistema automatizado de decisión' puede violar la ley estatal si daña a los solicitantes o empleados en función de características protegidas como raza, género o discapacidad, según el anuncio del Consejo de junio de 2025. Las regulaciones requieren que los empleadores retengan datos de decisión automatizados durante al menos cuatro años y señalan que ciertas evaluaciones automatizadas que solicitan información relacionada con discapacidades pueden contar como preguntas médicas ilegales.

Qué significa esto para los solicitantes de empleo y los empleadores

• El sesgo encontrado en la IA de contratación hasta la fecha ha seguido patrones sociales existentes en los datos de entrenamiento — currículums históricos, imágenes en línea o texto de propósito general — en lugar de aparecer al azar.
• Los efectos documentados incluyen favorecer currículums de grupos demográficos históricamente dominantes y producir resultados sistemáticamente diferentes para calificaciones subyacentes idénticas.
• Nueva York y California ahora imponen obligaciones legales específicas — auditorías, conservación de registros, o ambas — a los empleadores que utilizan estas herramientas, aunque los requisitos difieren según la jurisdicción.
• Los investigadores de la Universidad de Washington dicen que el sesgo identificado en una categoría demográfica (por ejemplo, solo raza) puede enmascarar efectos diferentes visibles solo cuando las categorías se combinan, como raza y género juntos.