Si está en la cocina, es una mujer: cómo los

algoritmos refuerzan los prejuicios

Las máquinas inteligentes consolidan los sesgos sexistas, racistas y clasistas que prometían
resolver

JAVIER SALAS

22 SEP 2017 - 05:48 ART

Los bancos de imágenes provocan un sesgo sexista en las máquinas. TRONDHEIM BYARKIV

 
Un hombre calvo, de unos sesenta años, mueve con sus espátulas de madera unos trozos de
MÁS INFORMACIÓN
carne dentro de una sartén. Lleva gafas de pasta, vaqueros y está frente a los fogones de su
pequeña cocina, decorada en tonos claros. Al ver esta imagen, la inteligencia artificial lo
tiene claro y gracias a su sofisticado aprendizaje etiqueta lo que ve: cocina, espátula,
fogones, mujer. Si está en una cocina, entre fogones, debe ser una mujer. Un equipo de la
Universidad de Virginia acaba de publicar un estudio en el que señala una vez más lo que
muchos especialistas vienen denunciando: la inteligencia artificial no solo no evita el error Siri: “Lo siento, no
entiendo la frase ‘me
humano derivado de sus prejuicios, sino que puede empeorar la discriminación y está han violado’, busca
reforzando muchos estereotipos. en la web”

En su trabajo, estos científicos pusieron la lupa en las imágenes de dos gigantescos bancos
de imágenes, de los que se usan habitualmente para entrenar a las máquinas. Y, sobre todo,
en lo que aprendían de ellas. Inicialmente, los hombres protagonizaban un 33% de las fotos
que contenían personas cocinando. Tras entrenar a la máquina con estos datos, el modelo Las máquinas no nos
jubilarán hasta el
mostró su flaqueza: dedujo que el 84% de la muestra eran mujeres. "Se sabe que las año 2140
tecnologías basadas en big data a veces empeoran inadvertidamente la discriminación
debido a sesgos implícitos en los datos", advierten los autores. "Mostramos que partiendo
de un corpus sesgado de género", añaden, los modelos predictivos "amplifican el sesgo".

Las máquinas se hacen más sexistas, racistas o clasistas porque identifican la tendencia Microsoft retira un
robot que hizo
subyacente y apuestan por ella para atinar. Ya es bien conocido el caso de Tay, el robot
comentarios racistas
inteligente que Microsoft diseñó para que se integrara en la conversación de Twitter en Twitter
aprendiendo de los demás usuarios: tuvo que retirarlo en menos de 24 horas porque empezó
a hacer apología nazi, a acosar a otros tuiteros y a defender el muro de Trump. A estas
alturas, los ejemplos de algoritmos que exacerban prejuicios o discriminaciones son
innumerables y ponen en entredicho la gran promesa de estos sistemas: retirar de la
ecuación el error humano. Los algoritmos nos condenan a repetir el pasado del que El inconsistente y
queríamos escapar al replicar los prejuicios que nos definían. peligroso ‘radar gay’

Google comenzó a etiquetar a personas negras como gorilas y Google Maps ubicaba la "casa
del negro" en la Casa Blanca de la era Obama. Las fotos de los usuarios negros de Flickr se
clasificaron como "chimpancés". La inteligente Siri de Apple, que tiene respuesta para todo,
no sabe qué decir cuando la dueña del móvil le dice que ha sido violada. El software de Nikon Las redes sociales
pueden saber tu
advierte al fotógrafo de que alguien ha parpadeado cuando el retratado tiene rasgos orientación sexual
asiáticos. Las webcam de HP no son capaces de identificar y seguir los rostros más aunque no las uses

morenos, pero sí los de blancos. El primer certamen de belleza juzgado por un ordenador
colocó a una única persona de piel oscura entre
"Las tecnologías basadas
en big data a veces los 44 vencedores. En EE UU, Amazon deja fuera de sus mejores

empeoran la promociones a los barrios de mayoría afroamericana (más pobres).

discriminación debido a Facebook permite a los anunciantes que excluyan de su target
sesgos implícitos en los comercial a minorías étnicas y, en cambio, que incluyan a personas que
datos", advierten los se identifican explícitamente como antisemitas o a jóvenes que sus
autores algoritmos han identificado como vulnerables y depresivos. 

"Prometiendo eficiencia e imparcialidad, distorsionan la educación

  superior, aumentan la deuda, estimulan el encarcelamiento masivo,
golpean a los pobres en casi todas las coyunturas y socavan la democracia", denuncia Cathy O'Neil, especialista
en datos y autora del revelador libro Armas de destrucción matemática (Weapons of Math Destruction, Crown), en
el que desmenuza todos los desastres algorítmicos a partir de su formación como doctora en Matemáticas en
Harvard y su experiencia laboral como data scientist en el mundo financiero. "Ir a la universidad, pedir prestado
dinero, ser condenado a prisión o encontrar y mantener un trabajo. Todos estos campos de la vida están cada vez
más controlados por modelos secretos que proporcionan castigos arbitrarios", alerta.
Como dice O'Neil, los prejuicios de los algoritmos pueden ser mucho
más peligrosos y trascendentales. Lo comprobó hace unos meses la Google comenzó a
redacción de ProPublica, al descubrir que un programa que se usa en la etiquetar a personas
Justicia de EE UU para pronosticar la reincidencia de los presos era negras como gorilas y
notablemente racista. Los acusados negros eran el doble de propensos Flickr las clasificó como
a ser mal etiquetados como probables reincidentes (y tratados más chimpancés
duramente por el sistema penal), mientras que los acusados blancos
que sí reincidieron fueron etiquetados como de bajo riesgo con el doble
de probabilidad que los negros. Los ciudadanos, y por supuesto los
convictos, ignoran que su futuro lo está decidiendo un programa informático viciado que va a ser tan racista como
el juez más racista. Fría, sosegada y concienzudamente racista.

Una investigación de la Universidad Carnegie Mellon descubrió que las mujeres tienen menos posibilidades de
recibir anuncios de trabajos bien pagados en Google. Los programas que se usan en los departamentos de
contratación de algunas empresas han mostrado inclinación por nombres usados por blancos y rechazan los de
negros. Las autoridades policiales de varias ciudades usan programas que les ayudan a pronosticar los lugares en
los que es más probable que haya delincuencia; de este modo, acuden más a estas zonas, detienen de nuevo a
más gente allí y refuerzan el ciclo negativo. Y los seguros son más caros y severos para residentes en barrios
pobres de mayoría negra. "El resultado es que criminalizamos la pobreza, creyendo que nuestras herramientas no
son solo científicas sino justas", resume esta especialista.

Como señala O'Neil en su libro, en algunos casos, los problemas del

"Prometiendo eficiencia
e imparcialidad, golpean algoritmo se deben a un problema en la selección de los datos. En otros,
a los pobres en casi todas se debe al prejuicio subyacente en la sociedad, que el software
las coyunturas y socavan simplemente hace suyo para acertar. Pero el mayor problema es el
la democracia", modelo económico: "Cuando se están construyendo sistemas
denuncia Cathy O'Neil estadísticos para encontrar clientes o manipular a deudores
desesperados, los ingresos crecientes parecen mostrar que están en el
camino correcto. El software está haciendo su trabajo. El problema es
que los beneficios terminan sirviendo como un sustituto de la verdad".
O'Neil denuncia que esto es una "confusión peligrosa" que surge "una y otra vez". Facebook deja que su algoritmo
seleccione y venda anuncios a "gente que odia a los judíos" y "adolescentes vulnerables" porque se hace rico con
ello; si les pagan, no pueden estar equivocados.

Un regulador frente a la opacidad

Son problemas descubiertos por periodistas, investigadores e instituciones. O cuando se hacen manifiestos y
obligan a la empresa a corregirlos, pero ¿qué pasa con todos los procesos que ya están mecanizados y
desconocemos cómo nos afectan? ¿Cómo sabrá una mujer que se la privó de ver un anuncio de trabajo? ¿Cómo
podría una comunidad pobre saber que está siendo acosada policialmente por un software? ¿Cómo se defiende
un delincuente de una minoría étnica que ignora que un algoritmo le señala? Facebook y Google, por ejemplo, son
 
perfectamente conscientes de este problema y hasta nos explican cómo sucede, pero son absolutamente opacos
y no permiten a nadie vigilar de un modo eficiente estos sesgos, critica O'Neil. Hay muchos más programas de
este tipo aplicándose en el sistema judicial estadounidense, pero sus sesgos se desconocen, porque cada
empresa mantiene sus algoritmos secretos, como la fórmula de la Coca-Cola.

El software está
Si el algoritmo se ha convertido en ley, debe ser transparente, accesible, El software está
discutible y enmendable, como la ley misma. Es lo que exigen cada vez haciendo su trabajo. El
más especialistas y organismos, como la Liga para la Justicia problema es que los
Algorítmica o Inteligencia artificial ahora, que aseguran que el problema beneficios terminan
de las máquinas inteligentes son sus prejuicios sociales rampantes y no sirviendo como un
que vayan a provocar un apocalipsis al estilo Terminator. Y que, por
sustituto de la verdad",
critica la especialista
tanto, hace falta crear reguladores públicos que revisen sus sistemas.
Es una crisis que no va a hacer sino crecer: hace unos días
escandalizaba un polémico algoritmo que pretendía identificar a los gais
por su cara; en EE UU, por ejemplo, ya la mitad de la población tiene su
rostro registrado en bases de datos policiales de reconocimiento facial. Y los gigantes de la red ya conocen hasta
nuestra orientación sexual incluso sin ser usuarios de sus servicios. "No podemos contar con el libre mercado
para corregir estos errores", zanja O'Neil.

ARCHIVADO EN:
›

Big data · Política tecnológica · Analítica datos · Inteligencia artificial · Consumo colaborativo · Bases datos · Redes sociales
· Computación · Tecnologías información · Racismo · Sexismo · Internet · Discriminación · Relaciones género · Informática · Prejuicios

CONTENIDO PATROCINADO

Y ADEMÁS...

El sueño olímpico roto de la

famosa bailarina de Chicfy

(TIKITAKAS)

© EDICIONES EL PAÍS S.L.

Contacto Venta de contenidos Publicidad Aviso legal Política cookies Mapa EL PAÍS en KIOSKOyMÁS Índice RSS