Cómo los algoritmos de IA desarrollan sesgos y qué salvaguardas existen para detenerlo

Los sistemas de inteligencia artificial se utilizan cada vez más para seleccionar solicitantes de empleo, calificar solicitudes de préstamos, moderar contenido en línea y señalar sospechosos para la policía. Cuando estos sistemas producen resultados sistemáticamente desiguales para grupos particulares, investigadores y reguladores llaman al resultado sesgo algorítmico. La cuestión de cómo se forma ese sesgo y qué se puede hacer al respecto ha pasado de artículos académicos a juntas directivas corporativas y legislaturas.

De dónde viene el sesgo

Un informe de 2022 del Instituto Nacional de Estándares y Tecnología (NIST) de EE. UU., titulado Special Publication 1270, concluyó que el sesgo de IA no es solo un problema de datos. Los autores del informe identifican tres fuentes distintas de sesgo en los sistemas de IA.

• Sesgo computacional y estadístico — que surge de datos de entrenamiento o algoritmos que no son representativos de la población que será afectada por el sistema.
• Sesgo humano — introducido cuando los diseñadores, etiquetadores o usuarios aplican información incompleta o estereotipos mientras construyen u operan el sistema.
• Sesgo sistémico — prácticas institucionales existentes e inequidades históricas que se codifican en un sistema simplemente porque están presentes en los registros de los que aprende.

La investigadora principal de NIST, Reva Schwartz, dijo que las organizaciones a menudo recurren a soluciones técnicas estrechas que no capturan el sesgo originado en el contexto social más amplio en el que se construye e implementa la IA, según el resumen de la agencia sobre el informe.

Dos casos documentados

Amazon construyó una herramienta experimental de selección de currículum a partir de 2014, entrenándola en aproximadamente una década de currículum que la empresa había recibido. Debido a que el sector de la tecnología ha empleado históricamente muchos más hombres que mujeres, la mayoría de esos currículum de entrenamiento provenían de solicitantes hombres. Según reportes de MIT Technology Review, el sistema se enseñó a sí mismo a penalizar currículum que contenían la palabra "women's" y bajó de categoría a los graduados de dos universidades exclusivas para mujeres. Los ingenieros de Amazon intentaron corregir el patrón, pero para 2017 la empresa había perdido confianza en que la herramienta fuera neutral en cuanto al género en otros aspectos y dejó de usarla.

Un estudio separado de 2018 llamado Gender Shades, realizado por Joy Buolamwini del MIT Media Lab y Timnit Gebru, entonces en Microsoft Research, probó tres sistemas comerciales de análisis facial en un conjunto de datos de más de 1.200 imágenes clasificadas por tono de piel utilizando la escala de Fitzpatrick. Según el resumen de MIT News de los hallazgos, las tasas de error para hombres de piel más clara nunca superaron el 0,8%, mientras que las tasas de error para mujeres de piel más oscura oscilaban entre 20,8% y 34,7%, llegando hasta 46,8% para las mujeres de piel más oscura en un sistema.

Qué salvaguardas existen

La Ley de IA de la Unión Europea, formalmente Regulación (UE) 2024/1689, entró en vigor el 1 de agosto de 2024, y es descrita por la Comisión Europea como el primer marco legal integral para la IA a nivel mundial. Para sistemas clasificados como de alto riesgo —incluidos aquellos utilizados en empleo, educación e identificación biométrica— la regulación requiere que los proveedores utilicen datos de entrenamiento, validación y prueba de calidad suficiente para minimizar el riesgo de resultados discriminatorios, y que establezcan medidas de evaluación y mitigación de riesgos antes de que el sistema llegue al mercado, según la descripción de las reglas de la Comisión. La Comisión establece que las obligaciones para sistemas de alto riesgo utilizados en áreas sensibles como empleo y biometría se hacen aplicables el 2 de diciembre de 2027, con reglas para la IA integrada en productos regulados que seguirán el 2 de agosto de 2028.

En los Estados Unidos, la propia respuesta de NIST a sus hallazgos sobre sesgo fue recomendar un enfoque "socio-técnico": abordar el sesgo humano y sistémico junto con el sesgo computacional involucrando expertos fuera de la ingeniería y consultando a comunidades afectadas, en lugar de depender únicamente de soluciones técnicas, según el resumen del informe de la agencia.

Por qué esto importa ahora

Las plataformas de contratación, herramientas de puntuación de crédito y sistemas de moderación de contenido son ahora comunes en muchas industrias, lo que significa que los tipos de errores documentados en los casos de Amazon y Gender Shades pueden afectar a un gran número de personas antes de que alguien note un patrón. Los plazos escalonados de la Ley de IA de la UE hasta 2028, y la orientación continua de NIST sobre gestión de sesgos, indican que la supervisión de estos sistemas todavía se está construyendo en lugar de estar ya completa.