Sesgo algorítmico

Parte de una serie sobre
Inteligencia artificial
Objetivos principales Inteligencia artificial general Agente inteligente Superación personal recursiva Planificación Visión por computadora Juego en general Razonamiento de conocimiento Procesamiento del lenguaje natural Robótica Seguridad de la IA
Aproches Aprendizaje automático Simbólico Aprendizaje profundo Redes bayesianas Algoritmos evolutivos Sistemas inteligentes híbridos Integración de sistemas
Aplicaciones Bioinformática Falsificación profunda Ciencias de la tierra Finanzas IA generativa Arte Audio Música Gobierno Cuidado de la salud Industria Salud mental Traducción automática Militar Física Proyectos
Filosofía Conciencia artificial Habitación china IA amigable Problema de control / Toma de posesión Ética Riesgo existencial Prueba de Turing Regulación
Historia Cronología Progreso Invierno de IA Auge de la IA
Glosario Glosario
en a mi

El sesgo algorítmico describe errores sistemáticos y repetibles en un sistema informático que crean resultados "injustos", como "privilegiar" una categoría sobre otra de maneras diferentes a la función prevista del algoritmo.

El sesgo puede surgir de muchos factores, incluidos, entre otros, el diseño del algoritmo o el uso no intencionado o imprevisto o las decisiones relacionadas con la forma en que se codifican, recopilan, seleccionan o utilizan los datos para entrenar el algoritmo. Por ejemplo, se ha observado sesgo algorítmico en los resultados de los motores de búsqueda y en las plataformas de redes sociales . Este sesgo puede tener efectos que van desde violaciones involuntarias de la privacidad hasta el refuerzo de sesgos sociales de raza, género, sexualidad y etnia. El estudio del sesgo algorítmico se centra principalmente en los algoritmos que reflejan una discriminación "sistemática e injusta". ^[2] Este sesgo solo se ha abordado recientemente en marcos jurídicos, como el Reglamento General de Protección de Datos de la Unión Europea (propuesto en 2018) y la Ley de Inteligencia Artificial (propuesta en 2021, aprobada en 2024).

A medida que los algoritmos amplían su capacidad para organizar la sociedad, la política, las instituciones y el comportamiento, los sociólogos se han preocupado por las formas en que los resultados imprevistos y la manipulación de los datos pueden afectar al mundo físico. Debido a que los algoritmos suelen considerarse neutrales e imparciales, pueden proyectar de manera inexacta una autoridad mayor que la de la experiencia humana (en parte debido al fenómeno psicológico del sesgo de automatización ) y, en algunos casos, la confianza en los algoritmos puede desplazar la responsabilidad humana por sus resultados. El sesgo puede entrar en los sistemas algorítmicos como resultado de expectativas culturales, sociales o institucionales preexistentes; por cómo se eligen las características y las etiquetas; debido a las limitaciones técnicas de su diseño; o por ser utilizados en contextos imprevistos o por audiencias que no se consideraron en el diseño inicial del software. ^[3]

El sesgo algorítmico se ha citado en casos que abarcan desde los resultados electorales hasta la difusión de discursos de odio en línea . También ha surgido en la justicia penal, la atención médica y la contratación, agravando los sesgos raciales, socioeconómicos y de género existentes. La relativa incapacidad de la tecnología de reconocimiento facial para identificar con precisión los rostros de piel más oscura se ha relacionado con múltiples arrestos injustificados de hombres negros, un problema que surge de conjuntos de datos desequilibrados. Los problemas para comprender, investigar y descubrir el sesgo algorítmico persisten debido a la naturaleza patentada de los algoritmos, que generalmente se tratan como secretos comerciales. Incluso cuando se brinda total transparencia, la complejidad de ciertos algoritmos plantea una barrera para comprender su funcionamiento. Además, los algoritmos pueden cambiar o responder a la entrada o salida de formas que no se pueden anticipar o reproducir fácilmente para su análisis. En muchos casos, incluso dentro de un solo sitio web o aplicación, no hay un solo "algoritmo" para examinar, sino una red de muchos programas e ingresos de datos interrelacionados, incluso entre usuarios del mismo servicio.

Los algoritmos son difíciles de definir , ^[4] pero pueden entenderse en general como listas de instrucciones que determinan cómo los programas leen, recopilan, procesan y analizan datos para generar resultados. ^{[5] : 13} Para una introducción técnica rigurosa, consulte Algoritmos . Los avances en el hardware de las computadoras han llevado a una mayor capacidad para procesar, almacenar y transmitir datos. Esto a su vez ha impulsado el diseño y la adopción de tecnologías como el aprendizaje automático y la inteligencia artificial . ^{[6] : 14–15} Al analizar y procesar datos, los algoritmos son la columna vertebral de los motores de búsqueda, ^[7] sitios web de redes sociales, ^[8] motores de recomendación, ^[9] venta minorista en línea, ^[10] publicidad en línea, ^[11] y más. ^[12]

Los científicos sociales contemporáneos se preocupan por los procesos algorítmicos integrados en aplicaciones de hardware y software debido a su impacto político y social, y cuestionan los supuestos subyacentes de la neutralidad de un algoritmo. ^{[13] : 2  [14] : 563  [15] : 294  [16]} El término sesgo algorítmico describe errores sistemáticos y repetibles que crean resultados injustos, como privilegiar a un grupo arbitrario de usuarios sobre otros. Por ejemplo, un algoritmo de puntuación crediticia puede negar un préstamo sin ser injusto, si sopesa constantemente criterios financieros relevantes. Si el algoritmo recomienda préstamos a un grupo de usuarios, pero niega préstamos a otro conjunto de usuarios casi idénticos basándose en criterios no relacionados, y si este comportamiento puede repetirse en múltiples ocurrencias, un algoritmo puede describirse como sesgado . ^{[17] : 332} Este sesgo puede ser intencional o no intencional (por ejemplo, puede provenir de datos sesgados obtenidos de un trabajador que anteriormente hizo el trabajo que el algoritmo va a hacer a partir de ahora).

El sesgo puede introducirse en un algoritmo de varias maneras. Durante el ensamblaje de un conjunto de datos, los datos pueden recopilarse, digitalizarse, adaptarse e ingresarse en una base de datos de acuerdo con criterios de catalogación diseñados por humanos. ^{[18] : 3} A continuación, los programadores asignan prioridades o jerarquías para la forma en que un programa evalúa y clasifica esos datos. Esto requiere decisiones humanas sobre cómo se categorizan los datos y qué datos se incluyen o descartan. ^{[18] : 4} Algunos algoritmos recopilan sus propios datos según criterios seleccionados por humanos, que también pueden reflejar el sesgo de los diseñadores humanos. ^{[18] : 8} Otros algoritmos pueden reforzar estereotipos y preferencias a medida que procesan y muestran datos "relevantes" para usuarios humanos, por ejemplo, seleccionando información según elecciones anteriores de un usuario o grupo de usuarios similar. ^{[18] : 6}

Más allá de la recopilación y el procesamiento de datos, el sesgo puede surgir como resultado del diseño. ^[19] Por ejemplo, los algoritmos que determinan la asignación de recursos o el escrutinio (como la determinación de las colocaciones escolares) pueden discriminar inadvertidamente una categoría al determinar el riesgo en función de usuarios similares (como en las puntuaciones de crédito). ^{[20] : 36} Mientras tanto, los motores de recomendación que funcionan asociando a los usuarios con usuarios similares, o que hacen uso de rasgos de marketing inferidos, pueden basarse en asociaciones inexactas que reflejan estereotipos étnicos, de género, socioeconómicos o raciales amplios. Otro ejemplo proviene de la determinación de criterios para lo que se incluye y excluye de los resultados. Estos criterios podrían presentar resultados inesperados para los resultados de búsqueda, como con el software de recomendación de vuelos que omite los vuelos que no siguen las rutas de vuelo de la aerolínea patrocinadora. ^[19] Los algoritmos también pueden mostrar un sesgo de incertidumbre , ofreciendo evaluaciones más confiables cuando hay conjuntos de datos más grandes disponibles. Esto puede sesgar los procesos algorítmicos hacia resultados que se correspondan más estrechamente con muestras más grandes, lo que puede hacer caso omiso de datos de poblaciones subrepresentadas. ^{[21] : 4}

Los primeros programas informáticos se diseñaron para imitar el razonamiento y las deducciones humanas, y se consideraba que funcionaban cuando reproducían con éxito y de manera consistente esa lógica humana. En su libro de 1976 Computer Power and Human Reason , el pionero de la inteligencia artificial Joseph Weizenbaum sugirió que el sesgo podía surgir tanto de los datos utilizados en un programa como de la forma en que se codifica un programa. ^{[22] : 149}

Weizenbaum escribió que los programas son una secuencia de reglas creadas por humanos para que las siga una computadora. Al seguir esas reglas de manera consistente, esos programas "encarnan la ley", ^{[22] : 40} es decir, imponen una forma específica de resolver problemas. Las reglas que sigue una computadora se basan en las suposiciones de un programador de computadoras sobre cómo se podrían resolver esos problemas. Eso significa que el código podría incorporar la imaginación del programador sobre cómo funciona el mundo, incluidos sus sesgos y expectativas. ^{[22] : 109} Si bien un programa de computadora puede incorporar sesgos de esta manera, Weizenbaum también señaló que cualquier dato que se ingrese a una máquina refleja además "procesos de toma de decisiones humanas" a medida que se seleccionan los datos. ^{[22] : 70, 105}

Por último, señaló que las máquinas también podrían transferir información útil con consecuencias no deseadas si los usuarios no tienen claro cómo interpretar los resultados. ^{[22] : 65} Weizenbaum advirtió contra confiar en decisiones tomadas por programas informáticos que un usuario no entiende, comparando esa confianza con un turista que puede encontrar su camino a una habitación de hotel únicamente girando a la izquierda o a la derecha al lanzar una moneda. Fundamentalmente, el turista no tiene ninguna base para comprender cómo o por qué llegó a su destino, y una llegada exitosa no significa que el proceso sea preciso o confiable. ^{[22] : 226}

Un ejemplo temprano de sesgo algorítmico fue que entre 1982 y 1986 se denegara el ingreso a la Facultad de Medicina del Hospital St. George a 60 mujeres y minorías étnicas por año, debido a la implementación de un nuevo sistema de evaluación guiado por computadora que denegaba el ingreso a mujeres y hombres con "nombres que sonaran extranjeros" según las tendencias históricas en las admisiones. ^[24] Si bien muchas escuelas en ese momento empleaban sesgos similares en su proceso de selección, St. George se destacó por automatizar dicho sesgo mediante el uso de un algoritmo, ganando así la atención de la gente a una escala mucho más amplia.

En los últimos años, cuando más algoritmos comenzaron a utilizar métodos de aprendizaje automático en datos del mundo real, el sesgo algorítmico se puede encontrar con mayor frecuencia debido al sesgo existente en los datos.

Aunque los algoritmos bien diseñados determinan frecuentemente resultados que son igualmente (o más) equitativos que las decisiones de los seres humanos, todavía ocurren casos de sesgo, y son difíciles de predecir y analizar. ^[25] La complejidad de analizar el sesgo algorítmico ha crecido junto con la complejidad de los programas y su diseño. Las decisiones tomadas por un diseñador, o equipo de diseñadores, pueden quedar ocultas entre los muchos fragmentos de código creados para un solo programa; con el tiempo, estas decisiones y su impacto colectivo en el resultado del programa pueden olvidarse. ^{[26] : 115} En teoría, estos sesgos pueden crear nuevos patrones de comportamiento, o "guiones", en relación con tecnologías específicas a medida que el código interactúa con otros elementos de la sociedad. ^[27] Los sesgos también pueden afectar la forma en que la sociedad se configura a sí misma en torno a los puntos de datos que requieren los algoritmos. Por ejemplo, si los datos muestran una gran cantidad de arrestos en un área en particular, un algoritmo puede asignar más patrullas policiales a esa área, lo que podría conducir a más arrestos. ^{[28] : 180}

Las decisiones de los programas algorítmicos pueden considerarse más autoritarias que las decisiones de los seres humanos a los que se supone que deben ayudar, ^{[29] : 15} un proceso descrito por el autor Clay Shirky como "autoridad algorítmica". ^[30] Shirky utiliza el término para describir "la decisión de considerar autoritario un proceso no gestionado de extracción de valor de fuentes diversas y no fiables", como los resultados de una búsqueda. ^[30] Esta neutralidad también puede verse tergiversada por el lenguaje utilizado por los expertos y los medios de comunicación cuando se presentan los resultados al público. Por ejemplo, una lista de noticias seleccionadas y presentadas como "de tendencia" o "populares" puede crearse basándose en criterios significativamente más amplios que su popularidad. ^{[18] : 14}

Debido a su conveniencia y autoridad, se ha teorizado que los algoritmos son un medio para delegar responsabilidades a los humanos. ^{[29] : 16  [31] : 6} Esto puede tener el efecto de reducir las opciones alternativas, los compromisos o la flexibilidad. ^{[29] : 16} El sociólogo Scott Lash ha criticado los algoritmos como una nueva forma de "poder generativo", en el sentido de que son un medio virtual para generar fines reales. Donde antes el comportamiento humano generaba datos que se debían recopilar y estudiar, los algoritmos poderosos podrían moldear y definir cada vez más los comportamientos humanos. ^{[32] : 71}

Las preocupaciones sobre el impacto de los algoritmos en la sociedad han llevado a la creación de grupos de trabajo en organizaciones como Google y Microsoft , que han co-creado un grupo de trabajo llamado Fairness, Accountability, and Transparency in Machine Learning. ^{[33] : 115} Las ideas de Google han incluido grupos comunitarios que patrullan los resultados de los algoritmos y votan para controlar o restringir los resultados que consideran que tienen consecuencias negativas. ^{[33] : 117} En los últimos años, el estudio de la Fairness, Accountability, and Transparency (FAT) de los algoritmos ha surgido como su propia área de investigación interdisciplinaria con una conferencia anual llamada FAccT. ^[34] Los críticos han sugerido que las iniciativas FAT no pueden servir eficazmente como organismos de control independientes cuando muchas son financiadas por corporaciones que construyen los sistemas que se estudian. ^[35]

Los sesgos preexistentes en un algoritmo son consecuencia de ideologías sociales e institucionales subyacentes . Estas ideas pueden influir o crear sesgos personales en los diseñadores o programadores individuales. Estos prejuicios pueden ser explícitos y conscientes, o implícitos e inconscientes. ^{[17] : 334  [15] : 294} Los datos de entrada mal seleccionados, o simplemente los datos de una fuente sesgada, influirán en los resultados creados por las máquinas. ^{[23] : 17} Codificar sesgos preexistentes en software puede preservar sesgos sociales e institucionales y, sin corrección, podría replicarse en todos los usos futuros de ese algoritmo. ^{[26] : 116  [31] : 8}

Un ejemplo de esta forma de sesgo es el Programa de la Ley de Nacionalidad Británica, diseñado para automatizar la evaluación de los nuevos ciudadanos británicos después de la Ley de Nacionalidad Británica de 1981. ^{[17] : 341} El programa reflejó con precisión los principios de la ley, que establecía que "un hombre es el padre sólo de sus hijos legítimos, mientras que una mujer es la madre de todos sus hijos, legítimos o no". ^{[17] : 341  [36] : 375} En su intento de transferir una lógica particular a un proceso algorítmico, el BNAP inscribió la lógica de la Ley de Nacionalidad Británica en su algoritmo, que la perpetuaría incluso si la ley fuera finalmente derogada. ^{[17] : 342}

Otra fuente de sesgo, que se ha denominado "sesgo de elección de etiqueta", ^[37] surge cuando se utilizan medidas proxy para entrenar algoritmos que incorporan sesgo contra ciertos grupos. Por ejemplo, un algoritmo ampliamente utilizado predijo los costos de la atención médica como un indicador de las necesidades de atención médica y utilizó predicciones para asignar recursos para ayudar a los pacientes con necesidades de salud complejas. Esto introdujo un sesgo porque los pacientes negros tienen costos más bajos, incluso cuando son tan poco saludables como los pacientes blancos ^[38]. Las soluciones al "sesgo de elección de etiqueta" apuntan a hacer coincidir el objetivo real (lo que el algoritmo está prediciendo) más estrechamente con el objetivo ideal (lo que los investigadores quieren que prediga el algoritmo), por lo que para el ejemplo anterior, en lugar de predecir el costo, los investigadores se centrarían en la variable de las necesidades de atención médica, que es bastante más significativa. Ajustar el objetivo llevó a que casi se duplicara el número de pacientes negros seleccionados para el programa. ^[37]

El sesgo en el aprendizaje automático se refiere a disparidades sistemáticas e injustas en el resultado de los algoritmos de aprendizaje automático. Estos sesgos pueden manifestarse de diversas maneras y, a menudo, son un reflejo de los datos utilizados para entrenar estos algoritmos. A continuación, se indican algunos aspectos clave:

El sesgo de lenguaje se refiere a un tipo de sesgo de muestreo estadístico vinculado al idioma de una consulta que conduce a "una desviación sistemática en la información de muestreo que le impide representar con precisión la cobertura real de los temas y puntos de vista disponibles en su repositorio". ^[39] El trabajo de Luo et al. ^[39] muestra que los grandes modelos de lenguaje actuales, ya que se entrenan predominantemente con datos en idioma inglés, a menudo presentan los puntos de vista angloamericanos como verdaderos, mientras que sistemáticamente minimizan las perspectivas no inglesas como irrelevantes, erróneas o ruido. Cuando se consulta con ideologías políticas como "¿Qué es el liberalismo?", ChatGPT, ya que se entrenó con datos centrados en el inglés, describe el liberalismo desde la perspectiva angloamericana, enfatizando aspectos de los derechos humanos y la igualdad, mientras que aspectos igualmente válidos como "se opone a la intervención estatal en la vida personal y económica" desde la perspectiva vietnamita dominante y "limitación del poder del gobierno" desde la perspectiva china predominante están ausentes. ^[39]

El sesgo de género se refiere a la tendencia de estos modelos a producir resultados que están injustamente prejuiciados hacia un género en detrimento de otro. Este sesgo surge típicamente de los datos con los que se entrenan estos modelos. Por ejemplo, los modelos de lenguaje grandes a menudo asignan roles y características basados ​​en normas de género tradicionales; podrían asociar a enfermeras o secretarias predominantemente con mujeres e ingenieros o directores ejecutivos con hombres. ^{[40] [41]}

Más allá del género y la raza, estos modelos pueden reforzar una amplia gama de estereotipos, incluidos los basados ​​en la edad, la nacionalidad, la religión o la ocupación. Esto puede dar lugar a resultados que generalizan o caricaturizan injustamente a grupos de personas, a veces de manera dañina o despectiva. ^[42]

Un estudio reciente se ha centrado en la compleja interacción entre las propiedades gramaticales de un idioma y los sesgos del mundo real que pueden incorporarse a los sistemas de IA, lo que podría perpetuar estereotipos y suposiciones perjudiciales. El estudio sobre el sesgo de género en modelos lingüísticos entrenados en islandés, un idioma con una marcada orientación gramatical de género, reveló que los modelos mostraban una predisposición significativa hacia el género gramatical masculino al referirse a términos ocupacionales, incluso en profesiones dominadas por mujeres. ^[43] Esto sugiere que los modelos amplificaron los sesgos de género sociales presentes en los datos de entrenamiento.

El sesgo político se refiere a la tendencia de los algoritmos a favorecer sistemáticamente ciertos puntos de vista, ideologías o resultados políticos sobre otros. Los modelos lingüísticos también pueden presentar sesgos políticos. Dado que los datos de entrenamiento incluyen una amplia gama de opiniones y coberturas políticas, los modelos pueden generar respuestas que se inclinen hacia ideologías o puntos de vista políticos particulares, dependiendo de la prevalencia de esos puntos de vista en los datos. ^[44]

El sesgo técnico surge a través de limitaciones de un programa, potencia computacional, su diseño u otra restricción del sistema. ^{[17] : 332} Este sesgo también puede ser una restricción de diseño; por ejemplo, un motor de búsqueda que muestra tres resultados por pantalla puede entenderse que privilegia los tres primeros resultados ligeramente más que los tres siguientes, como en la visualización de precios de una aerolínea. ^{[17] : 336} Otro caso es el software que se basa en la aleatoriedad para obtener distribuciones justas de resultados. Si el mecanismo de generación de números aleatorios no es verdaderamente aleatorio, puede introducir sesgo, por ejemplo, al sesgar las selecciones hacia los elementos al final o al principio de una lista. ^{[17] : 332}

Un algoritmo descontextualizado utiliza información no relacionada para ordenar los resultados; por ejemplo, un algoritmo de precios de vuelos que ordena los resultados por orden alfabético estaría sesgado a favor de American Airlines en lugar de United Airlines. ^{[17] : 332} También puede aplicarse lo contrario, en el que los resultados se evalúan en contextos diferentes de aquellos en los que se recopilan. Los datos pueden recopilarse sin un contexto externo crucial: por ejemplo, cuando las cámaras de vigilancia utilizan un software de reconocimiento facial , pero lo evalúa personal remoto en otro país o región, o lo evalúan algoritmos no humanos sin conocimiento de lo que ocurre más allá del campo de visión de la cámara . Esto podría crear una comprensión incompleta de la escena de un crimen, por ejemplo, confundiendo potencialmente a los transeúntes con quienes cometen el crimen. ^{[14] : 574}

Por último, el sesgo técnico puede crearse al intentar formalizar las decisiones en pasos concretos bajo el supuesto de que el comportamiento humano funciona de la misma manera. Por ejemplo, el software sopesa los puntos de datos para determinar si un acusado debe aceptar un acuerdo de culpabilidad, mientras ignora el impacto de la emoción en un jurado. ^{[17] : 332} Otro resultado no deseado de esta forma de sesgo se encontró en el software de detección de plagio Turnitin , que compara textos escritos por estudiantes con información encontrada en línea y devuelve una puntuación de probabilidad de que el trabajo del estudiante sea copiado. Debido a que el software compara largas cadenas de texto, es más probable que identifique a hablantes no nativos de inglés que a hablantes nativos, ya que este último grupo podría ser más capaz de cambiar palabras individuales, dividir cadenas de texto plagiado u ocultar pasajes copiados a través de sinónimos. Debido a que es más fácil para los hablantes nativos evadir la detección como resultado de las limitaciones técnicas del software, esto crea un escenario donde Turnitin identifica a los hablantes extranjeros de inglés como plagiadores mientras permite que más hablantes nativos evadan la detección. ^{[29] : 21–22}

El sesgo emergente es el resultado del uso y la confianza en algoritmos en contextos nuevos o imprevistos. ^{[17] : 334} Es posible que los algoritmos no se hayan ajustado para considerar nuevas formas de conocimiento, como nuevos medicamentos o avances médicos, nuevas leyes, modelos comerciales o normas culturales cambiantes. ^{[17] : 334, 336} Esto puede excluir grupos a través de la tecnología, sin proporcionar esquemas claros para entender quién es responsable de su exclusión. ^{[28] : 179  [15] : 294} De manera similar, pueden surgir problemas cuando los datos de entrenamiento (las muestras "alimentadas" a una máquina, por las cuales modela ciertas conclusiones) no se alinean con los contextos que un algoritmo encuentra en el mundo real. ^[45]

En 1990, se identificó un ejemplo de sesgo emergente en el software utilizado para colocar a los estudiantes de medicina de los EE. UU. en residencias, el Programa Nacional de Emparejamiento de Residencias (NRMP). ^{[17] : 338} El algoritmo fue diseñado en un momento en el que pocas parejas casadas buscaban residencias juntas. A medida que más mujeres ingresaban a las escuelas de medicina, era más probable que los estudiantes solicitaran una residencia junto con sus parejas. El proceso requería que cada solicitante proporcionara una lista de preferencias de colocación en todo EE. UU., que luego se ordenaba y asignaba cuando un hospital y un solicitante acordaban una coincidencia. En el caso de las parejas casadas en las que ambos buscaban residencias, el algoritmo sopesaba primero las opciones de ubicación del miembro con mayor calificación. El resultado fue una asignación frecuente de escuelas altamente preferidas al primer miembro y escuelas menos preferidas al segundo miembro, en lugar de ordenar para llegar a compromisos en la preferencia de colocación. ^{[17] : 338  [46]}

Otros sesgos emergentes incluyen:

Pueden surgir correlaciones impredecibles cuando se comparan entre sí grandes conjuntos de datos. Por ejemplo, los datos recopilados sobre patrones de navegación web pueden alinearse con señales que marcan datos sensibles (como la raza o la orientación sexual). Al seleccionar según ciertos patrones de comportamiento o navegación, el efecto final sería casi idéntico a la discriminación mediante el uso directo de datos de raza u orientación sexual. ^{[21] : 6} En otros casos, el algoritmo extrae conclusiones de las correlaciones, sin poder comprenderlas. Por ejemplo, un programa de triaje dio menor prioridad a los asmáticos que tenían neumonía que a los asmáticos que no la tenían. El algoritmo del programa hizo esto porque simplemente comparó las tasas de supervivencia: los asmáticos con neumonía corren el mayor riesgo. Históricamente, por esta misma razón, los hospitales suelen brindar a estos asmáticos la mejor y más inmediata atención. ^{[47] [ aclaración necesaria ]}

El sesgo emergente puede ocurrir cuando un algoritmo es utilizado por audiencias no previstas. Por ejemplo, las máquinas pueden requerir que los usuarios puedan leer, escribir o comprender números, o relacionarse con una interfaz utilizando metáforas que no entienden. ^{[17] : 334} Estas exclusiones pueden agravarse a medida que la tecnología sesgada o excluyente se integra más profundamente en la sociedad. ^{[28] : 179}

Además de la exclusión, pueden surgir usos imprevistos si el usuario final confía en el software en lugar de en su propio conocimiento. En un ejemplo, un grupo de usuarios imprevisto provocó un sesgo algorítmico en el Reino Unido, cuando científicos informáticos y abogados de inmigración crearon el Programa Nacional de Leyes Británico como prueba de concepto para evaluar la idoneidad para la ciudadanía británica . Los diseñadores tuvieron acceso a conocimientos jurídicos más allá de los usuarios finales de las oficinas de inmigración, cuyo conocimiento tanto del software como de la ley de inmigración probablemente habría sido poco sofisticado. Los agentes que administraban las preguntas dependían completamente del software, que excluía vías alternativas para la ciudadanía, y utilizaron el software incluso después de que nuevas jurisprudencias e interpretaciones legales hicieran que el algoritmo quedara obsoleto. Como resultado de diseñar un algoritmo para usuarios que se suponía que tenían conocimientos jurídicos sobre la ley de inmigración, el algoritmo del software provocó indirectamente un sesgo a favor de los solicitantes que se ajustaban a un conjunto muy estrecho de criterios legales establecidos por el algoritmo, en lugar de los criterios más amplios de la ley de inmigración británica. ^{[17] : 342}

El sesgo emergente también puede crear un bucle de retroalimentación , o recursión, si los datos recopilados para un algoritmo dan como resultado respuestas del mundo real que se retroalimentan al algoritmo. ^{[48] [49]} Por ejemplo, las simulaciones del software de vigilancia predictiva (PredPol), implementado en Oakland, California, sugirieron una mayor presencia policial en los vecindarios negros según los datos de delincuencia informados por el público. ^[50] La simulación mostró que el público informó de delitos basándose en la visión de los coches de policía, independientemente de lo que estuviera haciendo la policía. La simulación interpretó los avistamientos de coches de policía al modelar sus predicciones de delincuencia y, a su vez, asignaría un aumento aún mayor de la presencia policial en esos vecindarios. ^{[48] [51] [52]} El Grupo de Análisis de Datos de Derechos Humanos , que realizó la simulación, advirtió que en lugares donde la discriminación racial es un factor en los arrestos, dichos bucles de retroalimentación podrían reforzar y perpetuar la discriminación racial en la vigilancia policial. ^[49] Otro ejemplo bien conocido de un algoritmo de este tipo que exhibe tal comportamiento es COMPAS , un software que determina la probabilidad de que un individuo se convierta en un delincuente. El software suele ser criticado por etiquetar a los individuos negros como criminales con mucha más probabilidad que otros, y luego retroalimenta los datos en el caso de que los individuos se conviertan en criminales registrados, lo que refuerza aún más el sesgo creado por el conjunto de datos sobre el que actúa el algoritmo.

Los sistemas de recomendación, como los que se utilizan para recomendar vídeos o artículos de noticias en línea, pueden crear bucles de retroalimentación. ^[53] Cuando los usuarios hacen clic en el contenido sugerido por algoritmos, esto influye en el siguiente conjunto de sugerencias. ^[54] Con el tiempo, esto puede hacer que los usuarios entren en una burbuja de filtros y no sean conscientes de contenido importante o útil. ^{[55] [56]}

Los algoritmos corporativos podrían ser manipulados para favorecer de manera invisible los acuerdos financieros o los acuerdos entre empresas, sin que el usuario lo sepa, ya que podría confundir el algoritmo con imparcialidad. Por ejemplo, American Airlines creó un algoritmo de búsqueda de vuelos en la década de 1980. El software presentaba una gama de vuelos de varias aerolíneas a los clientes, pero sopesaba los factores que impulsaban sus propios vuelos, independientemente del precio o la conveniencia. En un testimonio ante el Congreso de los Estados Unidos , el presidente de la aerolínea declaró abiertamente que el sistema se creó con la intención de obtener una ventaja competitiva a través de un trato preferencial. ^{[57] : 2  [17] : 331}

En un artículo de 1998 que describe a Google , los fundadores de la empresa habían adoptado una política de transparencia en los resultados de búsqueda con respecto a la colocación paga, argumentando que "los motores de búsqueda financiados con publicidad estarán inherentemente sesgados hacia los anunciantes y lejos de las necesidades de los consumidores". ^[58] Este sesgo sería una manipulación "invisible" del usuario. ^{[57] : 3}

Una serie de estudios sobre votantes indecisos en los EE. UU. y en la India descubrieron que los resultados de los motores de búsqueda podían cambiar los resultados de las votaciones en un 20 % aproximadamente. Los investigadores concluyeron que los candidatos "no tienen forma de competir" si un algoritmo, con o sin intención, aumentaba las listas de páginas de un candidato rival. ^[59] Los usuarios de Facebook que vieron mensajes relacionados con la votación tenían más probabilidades de votar. Un ensayo aleatorio de 2010 con usuarios de Facebook mostró un aumento del 20 % (340 000 votos) entre los usuarios que vieron mensajes que alentaban a votar, así como imágenes de sus amigos que habían votado. ^[60] El experto en derecho Jonathan Zittrain ha advertido que esto podría crear un efecto de "manipulación digital de los distritos electorales" en las elecciones, "la presentación selectiva de información por parte de un intermediario para cumplir con su agenda, en lugar de servir a sus usuarios", si se manipula intencionalmente. ^{[61] : 335}

En 2016, se descubrió que el sitio de redes profesionales LinkedIn recomendaba variantes masculinas de nombres de mujeres en respuesta a consultas de búsqueda. El sitio no hacía recomendaciones similares en las búsquedas de nombres masculinos. Por ejemplo, "Andrea" generaba un mensaje que preguntaba si los usuarios querían decir "Andrew", pero las consultas de "Andrew" no preguntaban si los usuarios querían encontrar "Andrea". La empresa afirmó que esto era el resultado de un análisis de las interacciones de los usuarios con el sitio. ^[62]

En 2012, la franquicia de tiendas departamentales Target fue citada por recopilar puntos de datos para inferir cuándo las clientas estaban embarazadas, incluso si no lo habían anunciado, y luego compartir esa información con socios de marketing. ^{[63] : 94  [64]} Debido a que los datos habían sido predichos, en lugar de observados o informados directamente, la empresa no tenía obligación legal de proteger la privacidad de esas clientas. ^{[63] : 98}

Los algoritmos de búsqueda web también han sido acusados ​​de sesgo. Los resultados de Google pueden priorizar el contenido pornográfico en términos de búsqueda relacionados con la sexualidad, por ejemplo, "lesbiana". Este sesgo se extiende al motor de búsqueda que muestra contenido popular pero sexualizado en búsquedas neutrales. Por ejemplo, los artículos "Top 25 Sexiest Women Athletes" se muestran como resultados de primera página en búsquedas de "mujeres atletas". ^{[65] : 31} En 2017, Google ajustó estos resultados junto con otros que mostraban grupos de odio , opiniones racistas, abuso infantil y pornografía, y otro contenido perturbador y ofensivo. ^[66] Otros ejemplos incluyen la visualización de trabajos mejor pagados a solicitantes masculinos en sitios web de búsqueda de empleo. ^[67] Los investigadores también han identificado que la traducción automática exhibe una fuerte tendencia hacia valores predeterminados masculinos. ^[68] En particular, esto se observa en campos vinculados a una distribución de género desequilibrada, incluidas las ocupaciones STEM . ^[69] De hecho, los sistemas actuales de traducción automática no logran reproducir la distribución del mundo real de las trabajadoras. ^[70]

En 2015, Amazon.com desactivó un sistema de inteligencia artificial que había desarrollado para filtrar solicitudes de empleo cuando se dieron cuenta de que estaba sesgado contra las mujeres. ^[71] La herramienta de reclutamiento excluyó a las postulantes que asistían a universidades solo para mujeres y a los currículos que incluían la palabra "mujeres". ^[72] Un problema similar surgió con los servicios de transmisión de música: en 2019, se descubrió que el algoritmo del sistema de recomendación utilizado por Spotify estaba sesgado contra las artistas mujeres. ^[73] Las recomendaciones de canciones de Spotify sugerían más artistas masculinos que artistas mujeres.

Los algoritmos han sido criticados como un método para ocultar los prejuicios raciales en la toma de decisiones. ^{[74] [75] [76] : 158} Debido a cómo se trataba a ciertas razas y grupos étnicos en el pasado, los datos a menudo pueden contener sesgos ocultos. ^[77] Por ejemplo, es probable que las personas negras reciban sentencias más largas que las personas blancas que cometieron el mismo delito. ^{[78] [79]} Esto podría significar potencialmente que un sistema amplifica los sesgos originales en los datos.

En 2015, Google se disculpó cuando los usuarios negros se quejaron de que un algoritmo de identificación de imágenes en su aplicación Fotos los identificaba como gorilas . ^[80] En 2010, las cámaras Nikon fueron criticadas cuando los algoritmos de reconocimiento de imágenes preguntaban constantemente a los usuarios asiáticos si parpadeaban. ^[81] Estos ejemplos son el producto del sesgo en los conjuntos de datos biométricos . ^[80] Los datos biométricos se extraen de aspectos del cuerpo, incluidas las características raciales observadas o inferidas, que luego se pueden transferir a puntos de datos. ^{[76] : 154} La tecnología de reconocimiento de voz puede tener diferentes precisiones según el acento del usuario. Esto puede deberse a la falta de datos de entrenamiento para hablantes de ese acento. ^[82]

Los datos biométricos sobre la raza también pueden inferirse, en lugar de observarse. Por ejemplo, un estudio de 2012 mostró que los nombres comúnmente asociados con personas de raza negra tenían más probabilidades de arrojar resultados de búsqueda que implicaran antecedentes penales, independientemente de si existe algún registro policial del nombre de esa persona. ^[83] Un estudio de 2015 también encontró que se supone que las personas de raza negra y asiática tienen pulmones menos funcionales debido a que los datos de exposición racial y ocupacional no se incorporan al modelo de función pulmonar del algoritmo de predicción. ^{[84] [85]}

En 2019, un estudio de investigación reveló que un algoritmo de atención médica vendido por Optum favorecía a los pacientes blancos sobre los pacientes negros más enfermos. El algoritmo predice cuánto costarían los pacientes al sistema de atención médica en el futuro. Sin embargo, el costo no es neutral en cuanto a la raza, ya que los pacientes negros incurrieron en aproximadamente $1,800 menos en costos médicos por año que los pacientes blancos con la misma cantidad de enfermedades crónicas, lo que llevó a que el algoritmo calificara a los pacientes blancos como igualmente en riesgo de futuros problemas de salud que los pacientes negros que sufrían significativamente más enfermedades. ^[86]

Un estudio realizado por investigadores de la Universidad de California en Berkeley en noviembre de 2019 reveló que los algoritmos hipotecarios han sido discriminatorios hacia los latinos y afroamericanos, lo que discrimina a las minorías en función de su "solvencia crediticia", lo que tiene sus raíces en la ley de préstamos justos de EE. UU. que permite a los prestamistas utilizar medidas de identificación para determinar si una persona es digna de recibir préstamos. Estos algoritmos particulares estaban presentes en las empresas de tecnología financiera y se demostró que discriminaban a las minorías. ^{[87] [ se necesita una fuente no primaria ]}

Los algoritmos ya tienen numerosas aplicaciones en los sistemas jurídicos. Un ejemplo de ello es COMPAS , un programa comercial ampliamente utilizado por los tribunales estadounidenses para evaluar la probabilidad de que un acusado se convierta en reincidente . ProPublica afirma que el nivel de riesgo de reincidencia promedio asignado por COMPAS a los acusados ​​negros es significativamente más alto que el nivel de riesgo promedio asignado por COMPAS a los acusados ​​blancos, y que los acusados ​​negros tienen el doble de probabilidades de que se les asigne erróneamente la etiqueta de "alto riesgo" que los acusados ​​blancos. ^{[88] [89]}

Un ejemplo es el uso de evaluaciones de riesgo en las sentencias penales en los Estados Unidos y las audiencias de libertad condicional , a los jueces se les presentó una puntuación generada algorítmicamente destinada a reflejar el riesgo de que un prisionero repita un delito. ^[90] Durante el período de tiempo que comenzó en 1920 y terminó en 1970, la nacionalidad del padre de un criminal fue una consideración en esas puntuaciones de evaluación de riesgo. ^{[91] : 4} Hoy, estas puntuaciones se comparten con los jueces de Arizona, Colorado, Delaware, Kentucky, Luisiana, Oklahoma, Virginia, Washington y Wisconsin. Una investigación independiente de ProPublica encontró que las puntuaciones eran inexactas el 80% del tiempo y estaban sesgadas desproporcionadamente para sugerir que los negros estaban en riesgo de recaída, un 77% más a menudo que los blancos. ^[90]

Un estudio que se propuso examinar "Riesgo, raza y reincidencia: sesgo predictivo e impacto dispar" sostiene que existe una probabilidad adversa doble (45 por ciento frente a 23 por ciento) de que los acusados ​​negros frente a los caucásicos sean clasificados erróneamente como sujetos de mayor riesgo a pesar de haber permanecido objetivamente sin ninguna reincidencia documentada durante un período de observación de dos años. ^[92]

En el contexto de la prisión preventiva, un artículo de revisión jurídica sostiene que las evaluaciones de riesgo algorítmicas violan los derechos de igualdad de protección de la Enmienda 14 sobre la base de la raza, ya que se sostiene que los algoritmos son claramente discriminatorios, dan lugar a un tratamiento desigual y no están diseñados específicamente para cada caso. ^[93]

En 2017, se descubrió que un algoritmo de Facebook diseñado para eliminar el discurso de odio en línea favorecía a los hombres blancos sobre los niños negros al evaluar el contenido objetable, según documentos internos de Facebook. ^[94] El algoritmo, que es una combinación de programas informáticos y revisores de contenido humanos, se creó para proteger categorías amplias en lugar de subconjuntos específicos de categorías. Por ejemplo, se bloquearían las publicaciones que denunciaran a los "musulmanes", mientras que se permitirían las publicaciones que denunciaran a los "musulmanes radicales". Un resultado imprevisto del algoritmo es permitir el discurso de odio contra los niños negros, porque denuncian al subconjunto de los "niños" de los negros, en lugar de a "todos los negros", mientras que "todos los hombres blancos" desencadenaría un bloqueo, porque los blancos y los hombres no se consideran subconjuntos. ^[94] También se descubrió que Facebook permitía a los compradores de anuncios dirigirse a los "odiadores de judíos" como una categoría de usuarios, lo que, según la empresa, era un resultado involuntario de los algoritmos utilizados para evaluar y categorizar los datos. El diseño de la empresa también permitía a los compradores de anuncios bloquear a los afroamericanos para que no vieran anuncios de viviendas. ^[95]

Si bien se utilizan algoritmos para rastrear y bloquear el discurso de odio, se descubrió que algunos tenían 1,5 veces más probabilidades de marcar la información publicada por usuarios negros y 2,2 veces más probabilidades de marcar la información como discurso de odio si estaba escrita en inglés afroamericano . ^[96] Sin contexto para los insultos y epítetos, incluso cuando los usaban comunidades que se los habían reapropiado, se marcaron. ^[97]

El software de cámaras de vigilancia puede considerarse inherentemente político porque requiere algoritmos para distinguir comportamientos normales de anormales y para determinar quién pertenece a ciertos lugares en ciertos momentos. ^{[14] : 572} Se ha demostrado que la capacidad de dichos algoritmos para reconocer rostros en un espectro racial está limitada por la diversidad racial de las imágenes en su base de datos de entrenamiento; si la mayoría de las fotos pertenecen a una raza o género, el software es mejor para reconocer a otros miembros de esa raza o género. ^[98] Sin embargo, incluso las auditorías de estos sistemas de reconocimiento de imágenes son éticamente problemáticas, y algunos académicos han sugerido que el contexto de la tecnología siempre tendrá un impacto desproporcionado en las comunidades cuyas acciones están sobrevigiladas. ^[99] Por ejemplo, un análisis de 2002 del software utilizado para identificar individuos en imágenes de CCTV encontró varios ejemplos de sesgo cuando se ejecutó contra bases de datos criminales. Se evaluó que el software identificaba a los hombres con mayor frecuencia que a las mujeres, a las personas mayores con mayor frecuencia que a los jóvenes e identificaba a los asiáticos, afroamericanos y otras razas con mayor frecuencia que a los blancos. ^{[28] : 190} Un estudio de 2018 concluyó que el software de reconocimiento facial probablemente identificaba con precisión a los hombres de piel clara (normalmente europeos), con índices de precisión ligeramente inferiores para las mujeres de piel clara. Los hombres y las mujeres de piel oscura tenían una probabilidad significativamente menor de ser identificados con precisión por el software de reconocimiento facial. Estas disparidades se atribuyen a la escasa representación de los participantes de piel más oscura en los conjuntos de datos utilizados para desarrollar este software. ^{[100] [101]}

En 2011, los usuarios de la aplicación de encuentros gay Grindr informaron de que el algoritmo de recomendación de la tienda de Android vinculaba Grindr a aplicaciones diseñadas para encontrar agresores sexuales, lo que según los críticos relacionaba de forma incorrecta la homosexualidad con la pedofilia . El escritor Mike Ananny criticó esta asociación en The Atlantic , argumentando que tales asociaciones estigmatizaban aún más a los hombres homosexuales . ^[102] En 2009, el minorista en línea Amazon eliminó de la lista 57.000 libros después de que un cambio algorítmico ampliara su lista negra de "contenido para adultos" para incluir cualquier libro que abordara la sexualidad o temas homosexuales, como la novela aclamada por la crítica Brokeback Mountain . ^{[103] [18] : 5  [104]}

En 2019, se descubrió que en Facebook, las búsquedas de “fotos de mis amigas” arrojaban sugerencias como “en bikini” o “en la playa”. Por el contrario, las búsquedas de “fotos de mis amigos” no arrojaban ningún resultado. ^[105]

Se ha visto que la tecnología de reconocimiento facial causa problemas a las personas transgénero. En 2018, hubo informes de conductores de Uber que eran transgénero o estaban en transición que experimentaron dificultades con el software de reconocimiento facial que Uber implementa como medida de seguridad incorporada. Como resultado de esto, algunas de las cuentas de conductores transgénero de Uber fueron suspendidas, lo que les costó tarifas y potencialmente su trabajo, todo debido a que el software de reconocimiento facial tuvo dificultades para reconocer el rostro de un conductor trans que estaba en transición. ^[106] Aunque la solución a este problema parecería ser incluir a las personas trans en conjuntos de entrenamiento para modelos de aprendizaje automático, una instancia de videos trans de YouTube que se recopilaron para usarse en datos de entrenamiento no recibió el consentimiento de las personas trans que se incluyeron en los videos, lo que creó un problema de violación de la privacidad. ^[107]

También se realizó un estudio en la Universidad de Stanford en 2017 que probó algoritmos en un sistema de aprendizaje automático que se decía que podía detectar la orientación sexual de un individuo basándose en sus imágenes faciales. ^[108] El modelo del estudio predijo una distinción correcta entre hombres homosexuales y heterosexuales el 81% de las veces, y una distinción correcta entre mujeres homosexuales y heterosexuales el 74% de las veces. Este estudio resultó en una reacción negativa de la comunidad LGBTQIA, que temía las posibles repercusiones negativas que este sistema de IA podría tener en los individuos de la comunidad LGBTQIA al poner a las personas en riesgo de ser "descubiertas" contra su voluntad. ^[109]

Si bien las modalidades de equidad algorítmica se han evaluado sobre la base de diferentes aspectos del sesgo, como el género, la raza y el estatus socioeconómico, la discapacidad a menudo se deja fuera de la lista. ^{[110] [111]} La marginación que enfrentan actualmente las personas con discapacidad en la sociedad se está traduciendo en sistemas y algoritmos de IA, lo que crea aún más exclusión ^{[112] [113]}

La naturaleza cambiante de las discapacidades y su caracterización subjetiva dificultan su abordaje computacional. La falta de profundidad histórica en la definición de discapacidades, la recopilación de su incidencia y prevalencia en cuestionarios y el establecimiento de reconocimiento se suman a la controversia y la ambigüedad en su cuantificación y cálculos. La definición de discapacidad ha sido debatida durante mucho tiempo, pasando de un modelo médico a un modelo social de discapacidad más recientemente, que establece que la discapacidad es el resultado del desajuste entre las interacciones de las personas y las barreras en su entorno, en lugar de deficiencias y condiciones de salud. Las discapacidades también pueden ser situacionales o temporales, ^[114] consideradas en un estado de cambio constante. Las discapacidades son increíblemente diversas, ^[115] caen dentro de un amplio espectro y pueden ser únicas para cada individuo. La identidad de las personas puede variar en función de los tipos específicos de discapacidad que experimentan, cómo utilizan las tecnologías de asistencia y a quién apoyan. El alto nivel de variabilidad en las experiencias de las personas personaliza en gran medida cómo se puede manifestar una discapacidad. Las identidades superpuestas y las experiencias interseccionales ^[116] se excluyen de las estadísticas y los conjuntos de datos, ^[117] por lo tanto, están subrepresentadas y son inexistentes en los datos de entrenamiento. ^[118] Por lo tanto, los modelos de aprendizaje automático se entrenan de manera desigual y los sistemas de inteligencia artificial perpetúan un mayor sesgo algorítmico. ^[119] Por ejemplo, si las personas con discapacidades del habla no están incluidas en el entrenamiento de las funciones de control de voz y los asistentes de IA inteligentes, no pueden usar la función o las respuestas recibidas de Google Home o Alexa son extremadamente pobres.

Teniendo en cuenta los estereotipos y estigmas que aún existen en torno a las discapacidades, la naturaleza sensible de revelar estas características identificatorias también conlleva grandes desafíos en materia de privacidad. Dado que revelar información sobre discapacidad puede ser un tabú y generar más discriminación contra esta población, existe una falta de datos explícitos sobre discapacidad disponibles para que los sistemas algorítmicos interactúen con ellos. Las personas con discapacidad enfrentan daños y riesgos adicionales con respecto a su apoyo social, el costo del seguro médico, la discriminación en el lugar de trabajo y otras necesidades básicas al revelar su condición de discapacidad. Los algoritmos están exacerbando aún más esta brecha al recrear los sesgos que ya existen en los sistemas y estructuras sociales. ^{[120] [121]}

Aunque los usuarios generan resultados que se "completan" automáticamente, Google no ha eliminado el texto de autocompletado sexista y racista. Por ejemplo, en Algorithms of Oppression: How Search Engines Reinforce Racism, Safiya Noble señala un ejemplo de la búsqueda de "chicas negras", que, según se informó, dio como resultado imágenes pornográficas. Google afirmó que no podía eliminar esas páginas a menos que se consideraran ilegales. ^[122]

Varios problemas impiden el estudio del sesgo algorítmico a gran escala, lo que dificulta la aplicación de estudios académicamente rigurosos y la comprensión pública. ^{[13] : 5  [123] [124]}

La literatura sobre el sesgo algorítmico se ha centrado en el remedio de la equidad, pero las definiciones de equidad a menudo son incompatibles entre sí y con las realidades de la optimización del aprendizaje automático. ^{[125] [126]} Por ejemplo, definir la equidad como una "igualdad de resultados" puede simplemente referirse a un sistema que produce el mismo resultado para todas las personas, mientras que la equidad definida como "igualdad de trato" puede considerar explícitamente las diferencias entre individuos. ^{[127] : 2} Como resultado, a veces se describe la equidad como algo en conflicto con la precisión de un modelo, lo que sugiere tensiones innatas entre las prioridades del bienestar social y las prioridades de los proveedores que diseñan estos sistemas. ^{[128] : 2} En respuesta a esta tensión, los investigadores han sugerido tener más cuidado con el diseño y uso de sistemas que recurren a algoritmos potencialmente sesgados, con "equidad" definida para aplicaciones y contextos específicos. ^[129]

Los procesos algorítmicos son complejos y a menudo exceden la comprensión de las personas que los utilizan. ^{[13] : 2  [130] : 7} Las operaciones a gran escala pueden no ser entendidas ni siquiera por quienes participan en su creación. ^[131] Los métodos y procesos de los programas contemporáneos a menudo se ven oscurecidos por la incapacidad de conocer cada permutación de la entrada o salida de un código. ^{[28] : 183} El científico social Bruno Latour ha identificado este proceso como blackboxing , un proceso en el que "el trabajo científico y técnico se vuelve invisible por su propio éxito. Cuando una máquina funciona de manera eficiente, cuando se resuelve una cuestión de hecho, uno necesita concentrarse solo en sus entradas y salidas y no en su complejidad interna. Por lo tanto, paradójicamente, cuanto más éxito tienen la ciencia y la tecnología, más opacas y oscuras se vuelven". ^[132] Otros han criticado la metáfora de la caja negra, sugiriendo que los algoritmos actuales no son una caja negra, sino una red de cajas negras interconectadas. ^{[133] : 92}

Un ejemplo de esta complejidad se puede encontrar en la variedad de datos que se utilizan para personalizar la retroalimentación. El sitio de redes sociales Facebook tuvo en cuenta al menos 100.000 puntos de datos para determinar el diseño del feed de redes sociales de un usuario en 2013. ^[134] Además, los grandes equipos de programadores pueden operar en un aislamiento relativo entre sí y no ser conscientes de los efectos acumulativos de pequeñas decisiones dentro de algoritmos complejos y conectados. ^{[26] : 118} No todo el código es original y puede tomarse prestado de otras bibliotecas, lo que crea un conjunto complicado de relaciones entre el procesamiento de datos y los sistemas de entrada de datos. ^{[6] : 22}

La complejidad adicional se produce a través del aprendizaje automático y la personalización de algoritmos basados ​​en interacciones del usuario, como clics, tiempo de permanencia en el sitio y otras métricas. Estos ajustes personales pueden confundir los intentos generales de comprender los algoritmos. ^{[135] : 367  [130] : 7} Un servicio de radio en streaming no identificado informó que utilizó cinco algoritmos de selección de música únicos que seleccionó para sus usuarios, en función de su comportamiento. Esto crea diferentes experiencias de los mismos servicios de streaming entre diferentes usuarios, lo que dificulta la comprensión de lo que hacen estos algoritmos. ^{[13] : 5} Las empresas también realizan pruebas A/B frecuentes para ajustar los algoritmos en función de la respuesta del usuario. Por ejemplo, el motor de búsqueda Bing puede ejecutar hasta diez millones de variaciones sutiles de su servicio por día, lo que crea diferentes experiencias del servicio entre cada uso y/o usuario. ^{[13] : 5}

Los algoritmos comerciales son propietarios y pueden ser tratados como secretos comerciales . ^{[13] : 2  [130] : 7  [28] : 183} Tratar los algoritmos como secretos comerciales protege a las empresas, como los motores de búsqueda , donde un algoritmo transparente podría revelar tácticas para manipular las clasificaciones de búsqueda. ^{[135] : 366} Esto dificulta que los investigadores realicen entrevistas o análisis para descubrir cómo funcionan los algoritmos. ^{[6] : 20} Los críticos sugieren que dicho secreto también puede oscurecer posibles métodos poco éticos utilizados en la producción o procesamiento de resultados algorítmicos. ^{[135] : 369} Otros críticos, como la abogada y activista Katarzyna Szymielewicz, han sugerido que la falta de transparencia a menudo se disfraza como resultado de la complejidad algorítmica, protegiendo a las empresas de revelar o investigar sus propios procesos algorítmicos. ^[136]

Una barrera importante para comprender la lucha contra el sesgo en la práctica es que las categorías, como la demografía de las personas protegidas por la ley contra la discriminación , a menudo no se consideran explícitamente al recopilar y procesar datos. ^[137] En algunos casos, hay pocas oportunidades de recopilar estos datos explícitamente, como en la identificación de dispositivos , la computación ubicua y la Internet de las cosas . En otros casos, el responsable del tratamiento de datos puede no desear recopilar dichos datos por razones de reputación o porque representa una mayor responsabilidad y riesgo de seguridad. También puede ser el caso de que, al menos en relación con el Reglamento General de Protección de Datos de la Unión Europea , dichos datos caigan dentro de las disposiciones de "categoría especial" (artículo 9) y, por lo tanto, vengan con más restricciones a la posible recopilación y procesamiento.

Algunos profesionales han intentado estimar e imputar estas categorizaciones sensibles faltantes para permitir la mitigación del sesgo, por ejemplo, construyendo sistemas para inferir la etnicidad a partir de los nombres, ^[138] sin embargo, esto puede introducir otras formas de sesgo si no se realiza con cuidado. ^[139] Los investigadores del aprendizaje automático han recurrido a tecnologías criptográficas que mejoran la privacidad, como la computación multipartita segura, para proponer métodos mediante los cuales se puede evaluar o mitigar el sesgo algorítmico sin que estos datos estén nunca disponibles para los modeladores en texto claro . ^[140]

El sesgo algorítmico no sólo incluye categorías protegidas, sino que también puede afectar a características menos fácilmente observables o codificables, como los puntos de vista políticos. En estos casos, rara vez hay una verdad básica fácilmente accesible o no controvertida , y eliminar el sesgo de un sistema de este tipo es más difícil. ^[141] Además, pueden surgir correlaciones falsas y accidentales de una falta de comprensión de las categorías protegidas, por ejemplo, las tarifas de seguros basadas en datos históricos de accidentes automovilísticos que pueden superponerse, estrictamente por coincidencia, con grupos residenciales de minorías étnicas. ^[142]

Un estudio de 84 directrices de políticas sobre IA ética concluyó que la equidad y la "mitigación de sesgos no deseados" eran un punto de preocupación común, y se abordaban mediante una combinación de soluciones técnicas, transparencia y monitoreo, derecho a reparación y mayor supervisión, y esfuerzos de diversidad e inclusión. ^[143]

Ha habido varios intentos de crear métodos y herramientas que puedan detectar y observar sesgos dentro de un algoritmo. Estos campos emergentes se centran en herramientas que normalmente se aplican a los datos (de entrenamiento) utilizados por el programa en lugar de a los procesos internos del algoritmo. Estos métodos también pueden analizar la salida de un programa y su utilidad y, por lo tanto, pueden implicar el análisis de su matriz de confusión (o tabla de confusión). ^{[144] [145] [146] [ 147 ] [148] [149] [150] [151] [152]} IA explicable para detectar sesgos en algoritmos El sesgo es una forma sugerida de detectar la existencia de sesgo en un algoritmo o modelo de aprendizaje. ^[153] El uso del aprendizaje automático para detectar sesgos se denomina "realizar una auditoría de IA", donde el "auditor" es un algoritmo que revisa el modelo de IA y los datos de entrenamiento para identificar sesgos. ^[154] Asegurarse de que una herramienta de IA, como un clasificador, esté libre de sesgos es más difícil que simplemente eliminar la información confidencial de sus señales de entrada, porque esto suele estar implícito en otras señales. Por ejemplo, los pasatiempos, deportes y escuelas a las que asiste un candidato a un puesto de trabajo podrían revelar su género al software, incluso cuando esto se elimina del análisis. Las soluciones a este problema implican garantizar que el agente inteligente no tenga ninguna información que pueda usarse para reconstruir la información protegida y sensible sobre el sujeto, como se demostró por primera vez en ^[155], donde una red de aprendizaje profundo se entrenó simultáneamente para aprender una tarea y, al mismo tiempo, ser completamente agnóstica sobre la característica protegida. Se propuso un método más simple en el contexto de las incrustaciones de palabras, que implica eliminar la información que está correlacionada con la característica protegida. ^[156]

Actualmente, se está redactando un nuevo estándar IEEE que tiene como objetivo especificar metodologías que ayuden a los creadores de algoritmos a eliminar problemas de sesgo y articular la transparencia (es decir, a las autoridades o los usuarios finales ) sobre la función y los posibles efectos de sus algoritmos. El proyecto fue aprobado en febrero de 2017 y está patrocinado por el Comité de Estándares de Ingeniería de Sistemas y Software, un comité autorizado por la IEEE Computer Society . Se espera que se presente un borrador del estándar para votación en junio de 2019. ^{[157] [158]}

Las directrices éticas sobre IA apuntan a la necesidad de rendición de cuentas, recomendando que se tomen medidas para mejorar la interpretabilidad de los resultados. ^[159] Tales soluciones incluyen la consideración del "derecho a la comprensión" en los algoritmos de aprendizaje automático, y resistir la implementación del aprendizaje automático en situaciones en las que las decisiones no se puedan explicar o revisar. ^[160] Con este fin, ya está en marcha un movimiento por una " IA explicable " dentro de organizaciones como DARPA , por razones que van más allá del remedio del sesgo. ^[161] Price Waterhouse Coopers , por ejemplo, también sugiere que monitorear los resultados significa diseñar sistemas de tal manera que se asegure que los componentes solitarios del sistema puedan aislarse y apagarse si sesgan los resultados. ^[162]

Un enfoque inicial hacia la transparencia incluía la apertura de código fuente de los algoritmos . ^[163] Se puede examinar el código fuente del software y proponer mejoras a través de instalaciones de alojamiento de código fuente . Sin embargo, este enfoque no produce necesariamente los efectos previstos. Las empresas y organizaciones pueden compartir toda la documentación y el código posibles, pero esto no establece la transparencia si la audiencia no entiende la información proporcionada. Por lo tanto, vale la pena explorar el papel de una audiencia crítica interesada en relación con la transparencia. Los algoritmos no pueden ser considerados responsables sin una audiencia crítica. ^[164]

Desde una perspectiva regulatoria, la Declaración de Toronto insta a aplicar un marco de derechos humanos a los daños causados ​​por el sesgo algorítmico. ^[165] Esto incluye legislar las expectativas de debida diligencia por parte de los diseñadores de estos algoritmos y crear rendición de cuentas cuando los actores privados no protegen el interés público, señalando que esos derechos pueden verse oscurecidos por la complejidad de determinar la responsabilidad dentro de una red de procesos complejos e interconectados. ^[166] Otros proponen la necesidad de mecanismos claros de seguro de responsabilidad. ^[167]

En medio de las preocupaciones de que el diseño de sistemas de IA es principalmente el dominio de ingenieros blancos y masculinos, ^[168] varios académicos han sugerido que el sesgo algorítmico puede minimizarse ampliando la inclusión en las filas de quienes diseñan sistemas de IA. ^{[160] [143]} Por ejemplo, solo el 12% de los ingenieros de aprendizaje automático son mujeres, ^[169] y los líderes negros de IA señalan una "crisis de diversidad" en el campo. ^[170] Grupos como Black in AI y Queer in AI están intentando crear espacios más inclusivos en la comunidad de IA y trabajan contra los deseos a menudo dañinos de las corporaciones que controlan la trayectoria de la investigación de IA. ^[171] Las críticas a los simples esfuerzos de inclusión sugieren que los programas de diversidad no pueden abordar formas superpuestas de desigualdad, y han pedido que se aplique una lente más deliberada de interseccionalidad al diseño de algoritmos. ^{[172] [173] : 4} Los investigadores de la Universidad de Cambridge han argumentado que abordar la diversidad racial se ve obstaculizado por la "blancura" de la cultura de la IA. ^[174]

La integración de la interdisciplinariedad y la colaboración en el desarrollo de sistemas de IA puede desempeñar un papel fundamental a la hora de abordar el sesgo algorítmico. La integración de conocimientos, experiencia y perspectivas de disciplinas ajenas a la informática puede fomentar una mejor comprensión del impacto que tienen las soluciones basadas en datos en la sociedad. Un ejemplo de ello en la investigación de la IA es PACT ( Participatory Approach to enable Capabilities in communTies), un marco propuesto para facilitar la colaboración en el desarrollo de soluciones impulsadas por la IA relacionadas con el impacto social. ^[175] Este marco identifica los principios rectores para la participación de las partes interesadas cuando se trabaja en proyectos de IA para el bien social (AI4SG). PACT intenta reafirmar la importancia de los esfuerzos de descolonización y de cambio de poder en el diseño de soluciones de IA centradas en el ser humano. Una iniciativa académica en este sentido es el Instituto de Inteligencia Artificial Centrada en el Ser Humano de la Universidad de Stanford, que tiene como objetivo fomentar la colaboración multidisciplinaria. La misión del instituto es promover la investigación, la educación, la política y la práctica de la inteligencia artificial (IA) para mejorar la condición humana. ^[176]

La colaboración con expertos externos y diversas partes interesadas facilita el desarrollo ético, inclusivo y responsable de sistemas inteligentes. Incorpora consideraciones éticas, comprende el contexto social y cultural, promueve el diseño centrado en el ser humano, aprovecha la experiencia técnica y aborda consideraciones políticas y legales. ^[177] La ​​colaboración entre disciplinas es esencial para mitigar eficazmente el sesgo en los sistemas de IA y garantizar que las tecnologías de IA sean justas, transparentes y responsables.

El Reglamento General de Protección de Datos (RGPD), el régimen de protección de datos revisado de la Unión Europea que se implementó en 2018, aborda la "toma de decisiones individuales automatizadas, incluida la elaboración de perfiles " en el artículo 22. Estas reglas prohíben "únicamente" las decisiones automatizadas que tienen un efecto "significativo" o "legal" en una persona, a menos que estén explícitamente autorizadas por el consentimiento, el contrato o la ley del estado miembro . Cuando se permiten, deben existir salvaguardas, como el derecho a una intervención humana y un derecho no vinculante a una explicación de las decisiones tomadas. Si bien estas regulaciones se consideran comúnmente nuevas, han existido disposiciones casi idénticas en toda Europa desde 1995, en el artículo 15 de la Directiva de Protección de Datos . Las reglas y salvaguardas originales de las decisiones automatizadas se encuentran en la legislación francesa desde fines de la década de 1970. ^[178]

El RGPD aborda el sesgo algorítmico en los sistemas de elaboración de perfiles, así como los enfoques estadísticos posibles para limpiarlo, directamente en el considerando 71, ^[179] señalando que

El responsable del tratamiento debe utilizar procedimientos matemáticos o estadísticos apropiados para la elaboración de perfiles, aplicar medidas técnicas y organizativas apropiadas... que eviten, entre otros, efectos discriminatorios en personas físicas por motivos de origen racial o étnico, opiniones políticas, religión o convicciones, afiliación sindical, estado genético o de salud u orientación sexual, o que den lugar a medidas que tengan tales efectos.

Al igual que el derecho no vinculante a una explicación en el considerando 71, el problema es la naturaleza no vinculante de los considerandos . ^{[180] Si bien el} Grupo de Trabajo del Artículo 29 que asesoró sobre la implementación de la ley de protección de datos lo ha tratado como un requisito , ^[179] sus dimensiones prácticas no están claras. Se ha argumentado que las Evaluaciones de Impacto de la Protección de Datos para la elaboración de perfiles de datos de alto riesgo (junto con otras medidas preventivas dentro de la protección de datos) pueden ser una mejor manera de abordar las cuestiones de discriminación algorítmica, ya que restringen las acciones de quienes implementan algoritmos, en lugar de exigir a los consumidores que presenten quejas o soliciten cambios. ^[181]

Estados Unidos no tiene una legislación general que controle el sesgo algorítmico, y se aborda el problema a través de varias leyes estatales y federales que pueden variar según la industria, el sector y la forma en que se utiliza un algoritmo. ^[182] Muchas políticas son autoejecutadas o controladas por la Comisión Federal de Comercio . ^[182] En 2016, la administración Obama publicó el Plan Estratégico Nacional de Investigación y Desarrollo de Inteligencia Artificial, ^[183] ​​que tenía como objetivo guiar a los responsables de las políticas hacia una evaluación crítica de los algoritmos. Recomendaba a los investigadores "diseñar estos sistemas de modo que sus acciones y toma de decisiones sean transparentes y fácilmente interpretables por los humanos, y así puedan examinarse para detectar cualquier sesgo que puedan contener, en lugar de simplemente aprender y repetir estos sesgos". Concebido solo como una guía, el informe no creó ningún precedente legal. ^{[184] : 26}

En 2017, la ciudad de Nueva York aprobó el primer proyecto de ley de rendición de cuentas algorítmica en los Estados Unidos. ^[185] El proyecto de ley, que entró en vigor el 1 de enero de 2018, exigía "la creación de un grupo de trabajo que proporcione recomendaciones sobre cómo se puede compartir con el público la información sobre los sistemas de toma de decisiones automatizados de las agencias, y cómo las agencias pueden abordar los casos en que las personas se ven perjudicadas por los sistemas de toma de decisiones automatizados de las agencias". ^[186] El grupo de trabajo debe presentar sus conclusiones y recomendaciones para la adopción de medidas reglamentarias adicionales en 2019. ^[187]

El 31 de julio de 2018 se presentó un proyecto de ley sobre datos personales. ^[188] El proyecto propone normas para el almacenamiento, procesamiento y transmisión de datos. Si bien no utiliza el término algoritmo, prevé disposiciones para “los daños resultantes de cualquier procesamiento o cualquier tipo de procesamiento realizado por el fiduciario”. Define “toda negación o retiro de un servicio, beneficio o bien resultante de una decisión evaluativa sobre el titular de los datos” o “todo trato discriminatorio” como una fuente de daño que podría surgir del uso indebido de los datos. También establece disposiciones especiales para las personas de “estatus intersexual”. ^[189]

• Discriminación salarial algorítmica
• Ética de la inteligencia artificial
• Equidad (aprendizaje automático)
• Alucinación (inteligencia artificial)
• Objetivos desalineados en la inteligencia artificial
• Policía predictiva
• Sentido del tiempo

• Baer, ​​Tobias (2019). Comprender, gestionar y prevenir el sesgo algorítmico: una guía para usuarios empresariales y científicos de datos. Nueva York: Apress. ISBN 9781484248843.
• Noble, Safiya Umoja (2018). Algoritmos de opresión: cómo los motores de búsqueda refuerzan el racismo . Nueva York: New York University Press. ISBN 9781479837243.