Cuando el algoritmo que avisa a Asuntos Sociales cree que las familias negras son disfuncionales | Transformación Digital | Tecnología

Cuando el algoritmo que avisa a Asuntos Sociales cree que las familias negras son disfuncionales | Transformación Digital | Tecnología


Una familia entra en su piso en un bloque de vivienda pública en Nueva Orleans, Estados Unidos.Mario Tama / Getty

El Gobierno de Nueva Zelanda encargó hace una década a dos economistas desarrollar un modelo estadístico para calcular las posibilidades de que un recién nacido sufriera maltratos durante sus primeros cinco años de vida. El programa se hizo público en 2014. Un grupo de investigadores reveló que se equivocaba en el 70% de los casos. El plan se paró en 2015, antes de que se aplicase sobre una muestra de 60.000 recién nacidos. Para entonces, los desarrolladores de ese sistema ya habían conseguido un contrato para crear un modelo de predicción de riesgos similar en el condado de Allegheny (Pensilvania, EE UU).

El sistema asignaba a cada embarazo una puntuación a partir del análisis de 132 variables, como el tiempo que hacía que se recibían ayudas públicas, la edad de la madre, si el niño había nacido en el seno de una familia monoparental o la salud mental y los antecedentes penales de los progenitores. Cuando el valor que arrojaba el algoritmo era alto, los asistentes sociales recibían un aviso: hay que comprobar que todo esté en orden en esa familia. Aunque fuese una falsa alarma, cada visita domiciliaria queda registrada en un país en el que se puede retirar la custodia de un niño por no tener la nevera llena.

La politóloga Virginia Eubanks (Nueva York, 1972) ha investigado el uso de esta herramienta y concluye que su uso perjudica especialmente a las clases trabajadoras y a los pobres, lo que en el contexto estadounidense significa una robrerrepresentación de negros y latinos. Y lo cuenta en su libro La automatización de la desigualdad, que Capitán Swing saca a la venta en castellano este lunes. Su edición inglesa recibió premios, elogios de autores como Naomi Klein o Cathy O’Neil y buenas críticas de medios como The New York Times.

Uno de los motivos de ese efecto es que los datos de los que se nutre el algoritmo para puntuar el riesgo de maltrato se recogen de registros públicos, y en EE UU solo los pobres interactúan con las instituciones públicas. El resultado de las puntuaciones sería muy distinto si el sistema incluyese también datos privados: si los padres recurren a niñeras (y por tanto están ausentes), historiales de psicólogos y psiquiatras de pago, asistencia a Alcohólicos Anónimos o centros de desintoxicación de lujo…

Eubanks desmenuza este y otros dos ejemplos de usos de algoritmos en la toma de decisiones de instituciones públicas en su libro. Los casos de estudio elegidos, todos ellos de Estados Unidos, demuestran que tecnología no es sinónimo de eficacia aséptica, sino más bien de lo contrario. “Estas herramientas, construidas supuestamente para eliminar las desigualdades y lograr la neutralidad, lo que realmente hacen es amplificar las desigualdades que tenemos en la sociedad”, explica la autora por videollamada a EL PAÍS.

Virginia Eubanks, durante una entrevista con público realizada en Utrecht, Países Bajos, en 2019.
Virginia Eubanks, durante una entrevista con público realizada en Utrecht, Países Bajos, en 2019.Sebastiaan ter Burg / Sebastiaan ter Burg

Criminalizar la pobreza

Además del modelo predictivo de maltrato de Allegheny, Eubanks analiza un sistema aplicado en Indiana para automatizar la elegibilidad (esto es, quién puede ser beneficiario) de los programas de asistencia social. El problema es que estaba diseñado de tal manera que, cuando había algún error en el proceso o papeleo, siempre se le atribuía al solicitante. El resultado fue la denegación de un millón de prestaciones. No tardaron en salir a la luz casos especialmente sangrantes de potenciales beneficiarios a los que se les denegaron las ayudas, como niñas de seis años de familias humildes o abuelas hospitalizadas por problemas de corazón a las que se les retiró el servicio médico gratuito (Medicaid). Se acabó cancelando, pero el gasto en prestaciones sociales es hoy más bajo que nunca.

El otro caso de estudio es un sistema computerizado que decide quiénes de los 60.000 sin techo que había en el condado de Los Ángeles en 2017 debían recibir ayuda, sabiendo que 25.000 que se quedarían sin ser atendidos. Según los diseñadores del sistema, este ayudaría a ponderar de forma objetiva los casos más acuciantes para asignarles recursos. “Existe otro modo de entenderlo”, escribe Eubanks al respecto: un análisis de costes y beneficios. “Es más barato proporcionar viviendas de apoyo a la reinserción a las personas desamparadas más vulnerables y en una situación cronificada que mantenerlas en las salas de urgencias, en las instalaciones de salud mental o en las cárceles. Y es más barato proporcionar a las personas sin techo menos vulnerables un realojo rápido que comporte una inversión reducida y limitada en el tiempo que dejar que se conviertan en personas desamparadas cronificadas”.

Más información

El nexo común de los casos que pormenoriza Eubanks en el libro es, en su opinión, que en todos ellos el punto de partida es la criminalización de los menos favorecidos. Y eso tiene que ver con la concepción estadounidense de los menos pudientes. “Hay que romper la idea tan arraigada que tenemos en EE UU de que la pobreza es el resultado del fracaso moral”, apunta la profesora de Ciencia Política de la Universidad de Albany. Los defensores del uso de algoritmos en la gestión de servicios públicos, dice, aseguran que el big data revoluciona las rígidas burocracias, estimula las soluciones innovadoras e incrementa la transparencia. “Pero si nos centramos en programas especialmente dirigidos a los pobres y la clase trabajadora, el nuevo régimen de análisis de datos es más una evolución que una revolución. Es una expansión y continuación de las estrategias de gestión moralista y punitiva de la pobreza que nos acompañan desde 1820”, sentencia.

Aires de cambio

La pandemia ha demostrado que el trato discriminatorio hacia los más pobres existe. Cuando la covid-19 irrumpió en Estados Unidos, los sistemas informáticos que tramitan y conceden los subsidios de desempleo se vieron superados por la demanda. “Como respuesta, muchos Estados relajaron los requisitos para demostrar que necesitas la ayuda. Es decir: cuando la crisis afecta a las clases medias, de repente ya no necesitamos esas reglas tan complejas para acceder a beneficios sociales”, ilustra Eubanks.

Un hombre pasa frente a tiendas de campaña de personas sin techo en una calle de Los Ángeles en abril de este año.
Un hombre pasa frente a tiendas de campaña de personas sin techo en una calle de Los Ángeles en abril de este año.FREDERIC J. BROWN / AFP

Ampliar el número de usuarios de los sistemas automatizados de prestaciones sociales no es la única novedad que ha traído la pandemia. La académica cree que en la sociedad estadounidense se está empezando a generar un debate acerca del uso de la tecnología en distintos ámbitos de la sociedad. “Ahora hay mucha gente que está pensando de forma más crítica qué significa y qué efecto tiene en sus vidas las herramientas de vigilancia digital como el reconocimiento facial o el hecho de que la policía lleve cámaras encima”, señala. Esta reflexión está liderada por movimientos sociales liderados por jóvenes afroamericanos, indica Eubanks. “Es el fruto de una combinación entre la preocupación por el funcionamiento de algoritmos opacos, el legado racista de la policía estadounidense y el enfrentarse de repente a un sufrimiento económico tremendo. Eso crea un momento de cierto alineamiento social que permite revisarlo todo”.

Más allá de Estados Unidos

Para que los algoritmos dejen de decidir si se le puede retirar la custodia de un niño a sus padres, opina Eubanks, hay que interiorizar que estos programas no son neutrales. “Si queremos construir mejores herramientas tenemos que hacerlo con mejores valores desde el principio, porque si no acaban teniendo los que ya tenemos, y por tanto no deberíamos sorprendernos de que produzcan los mismos resultados una y otra vez”, reflexiona.

Los sistemas descritos en el libro no tienen por qué circunscribirse a Estados Unidos. La profesora trabaja ahora de hecho en estudiar los patrones que sigue la aplicación de algoritmos en el ámbito de las decisiones públicas que tienen que ver con prestaciones sociales.

“La infraestructura para que estos sistemas funcionen está lista en muchos sitios del mundo”, asegura. “Lo que cambian son los regímenes políticos, la austeridad moral o los momentos en los que se mira hacia otro lado. Las empresas hacen estas herramientas y las agencias gubernamentales las tratan como soluciones a la austeridad. No creo que desaparezcan solas”.

Puedes seguir a EL PAÍS TECNOLOGÍA en Facebook y Twitter.

Lo más vendido de tecnología informática

Bestseller No. 1
HP 15s-eq1075ns - Ordenador portátil de 15.6" FullHD (Athlon 3050U, 8GB de RAM, 256GB SSD, Amd Radeon Integrated Graphics, Sin sistema operativo ) Plata - teclado QWERTY Español
  • Pantalla de 15.6" FullHD
  • Procesador Athlon 3050U
  • 8GB de memoria RAM
  • Almacenamiento de 256GB SSD
  • Tarjeta gráfica Integrada Amd Radeon Integrated Graphics
RebajasBestseller No. 2
Lenovo V14 - Ordenador portátil 14" HD (Athlon 3020E, 4GB RAM, 128GB SSD, UMA Graphics, Windows 10 Pro), Color gris - Teclado QWERTY español
  • Pantalla de 14" HD, 1280x720 píxeles, TN, 220nits, antirreflejo
  • Procesador Athlon 3020E (2C, 1.2 GHz)
  • Memoria RAM de 4GB DDR4-2400 SO-DIMM
  • Almacenamiento de 128GB SSD M.2 2242 NVMe
  • Sistema Operativo Windows 10 Pro
Bestseller No. 3
Hp Elite 8300 SFF - Ordenador de sobremesa (Intel Core i5-3470, 3.2 GHz, 8GB de RAM, Disco SSD de 240GB + 500GB HDD, Lector, Windows 10 Pro ES 64) (Reacondicionado)
  • Procesador Intel Core i5-3470 caché de 6M, hasta 3,60 GHz
  • Memoria RAM de 8 GB, de tipo DDR3
  • Almacenamiento de SSD 240GB + 500GB HDD
  • Sistema operativo Windows 10 Professional
RebajasBestseller No. 4
TECLAST F15S Ordenador Portátil 15.6” Notebook Laptop 6GB RAM 128GB ROM (Más de 1TB Expandible), FHD 1920×1080, 2.40GHz Intel Celeron J3455, Window 10, 38000mWh Batería, 5G WiFi+Bluetooth+USB 3.0
  • ULTRADELGADO Y LIGERO - Laptop tiene sólo 1.8kg, con 15.6” de pantalla grande, espesor ultradelgado de 7mm con cuerpo de metal, 1920 x 1080 Full HD IPS pantalla grande con un panel de protección 2.5D de bisel estrecho de 7 mm que más delgado y más portátil. Además, el modo nocturno y la configuración del color ayudan a reducir la fatiga visual.
  • ALTO RENDIMIENTO - Ordenador Portátil con procesador Intel Apollo Lake Celeron J3455 cuatro nucleos con frecuencias máximas de hasta 2,4 GHz; la tarjeta gráfica de núcleo UHD Intel Graphics 500 ; tiene LPDDR3 con 6 GB de RAM, SSD alta velocidad con 128 GB; soporte para la tarjeta TF y el reemplazo y actualización de SSD. Permite velocidades Turbo Boost desde 1.1Ghz hasta 2.4 GHz.
  • ENTRADA EFICIENTE Y CONTROL CONVENIENTE - Teclado de tamaño completo y teclado numérico, para que la entrada del teclado sea más eficiente, panel táctil grande de 140mm x 95mm, manejo más conveniente. Nota: Teclado QWERTY ( Viene con pegatinas de teclado incluyendo Español, Francés, Alemán, Italiano)
  • CONEXIÓN POTENTE - El notebook tiene una batería grande de 38000mWh, diseñado para un rendimiento duradero, 7 horas de uso integral de la duración de la batería, con AC WiFi en doble banda con una velocidad de transmisión máxima de 433Mb / s bajo banda 5G, Bluetooth 4.2 y otra transmisión inalámbrica de alta velocidad; Es conveniente ponerse en contacto con la variedad de periféricos por los dos USB 3.0, salida Mini-HDMI de audio HD y vídeo.
  • WINDOWS 10 - Sistema operativo Windows10 genuino preinstalado, soporta todo tipo de software de oficina, software de productividad de Adobe, compatible con todo tipo de entretenimiento audiovisual, software de aplicación convencional, es bueno en entretenimiento y oficina.
Bestseller No. 5
Law & Order: Special Victims Unit - Season 13
  • Amazon Prime Video (Video on Demand)
  • Mariska Hargitay, Kelli Giddish, Danny Pino (Actors)

Fuente original