La Automatizacion De La Desigualdad

“La Automatización de la Desigualdad” se centra en el impacto de los sistemas automatizados, a menudo basados en algoritmos, en la administración de servicios públicos en Estados Unidos. Eubanks examina casos concretos de su implementación en ciudades como King County (Washington) en el ámbito de la asistencia social, en el estado de Carolina del Norte en el control de beneficiarios de programas de asistencia infantil, y en el condado de Santa Clara (California) en la evaluación de riesgo para inmigrantes. En cada uno de estos ejemplos, la autora revela un patrón preocupante: la utilización de algoritmos de evaluación de riesgo, a menudo construidos sobre datos históricos que ya reflejan sesgos y desigualdades sociales, para tomar decisiones que afectan directamente la vida de las personas.

El libro desmantela la idea de que estos sistemas son objetivos y neutrales. Eubanks argumenta que los algoritmos no son inherentemente justos; más bien, son productos de las decisiones y los datos que se les proporcionan. Si los datos de entrada reflejan prejuicios raciales, de clase social o de género, el algoritmo, por mucho que se pretenda que es objetivo, perpetuará y amplificará esos sesgos. Por ejemplo, en King County, el sistema de evaluación de riesgo utilizado para determinar si las familias podían recibir asistencia para el cuidado de sus hijos se basaba en factores como la frecuencia con la que acudían a centros de salud, el nivel de educación de los padres y la vivienda que ocupaban. Estos factores, inherentemente vinculados a la desigualdad socioeconómica, tendieron a discriminar contra las familias de bajos ingresos y las minorías étnicas, incluso cuando no habían cometido ningún delito. El sistema, al priorizar la ‘pérdida potencial’ sobre el bienestar de las familias, reflejaba y consolidaba una forma de paternalismo tecnológico que ignoraba las causas subyacentes de la pobreza.

Además, Eubanks explora cómo la automatización de los servicios sociales crea una distancia ética entre el Estado y los ciudadanos. Al delegar la toma de decisiones a sistemas automatizados, las agencias gubernamentales pueden evadir la responsabilidad y la necesidad de empatía. La lógica fría y despersonalizada de los algoritmos hace que sea más fácil justificar decisiones que, de otro modo, serían consideradas injustas o inhumanas. Este distanciamiento permite que el Estado actúe con mayor indiferencia hacia las necesidades de los grupos más vulnerables, escondiendo, efectivamente, la verdadera naturaleza de su poder y control.

La obra de Eubanks no se limita a denunciar los casos concretos de uso defectuoso de la tecnología; proporciona un marco conceptual robusto para entender las implicaciones más amplias de la automatización en la gestión de la justicia social y los servicios públicos. El libro argumenta que la implementación de los modelos de peligro predictivo, la práctica de usar algoritmos para predecir quién es ‘riesgoso’ y merece una vigilancia especial, está llevando a una ‘nuevocracia’ donde el riesgo se ha convertido en el principal criterio para determinar el acceso a la asistencia y la protección. Este cambio no solo es injusto, sino que también es peligroso porque normaliza la discriminación y crea un clima de sospecha y desconfianza.

Eubanks ilustra cómo la automatización tiende a “ocultar la pobreza” al hacer que los procesos de solicitud y acceso a recursos sean más complejos y burocráticos. La exigencia de datos precisos y completos, la necesidad de cumplir con requisitos técnicos y la amenaza de ser ‘marcado’ como ‘riesgoso’ presionan a las personas para que eviten los servicios sociales, incluso cuando los necesitan. Este efecto, junto con la falta de transparencia en el funcionamiento de los algoritmos, crea un ciclo vicioso que exacerba la pobreza y marginaliza a los grupos más vulnerables. El hecho de que la mayoría de las personas no comprendan cómo funcionan estos algoritmos y cómo se toman las decisiones que afectan sus vidas refuerza aún más este ciclo, ya que no pueden desafiar o cuestionar las decisiones que les afectan.

Asimismo, Eubanks hace hincapié en la importancia de la transparencia y la rendición de cuentas en el diseño e implementación de estos sistemas. Argumenta que los algoritmos utilizados en la administración de justicia social deberían ser públicos y auditables, y que las decisiones basadas en ellos deberían ser explicables y justificables. Sin embargo, la opacidad inherente a la mayoría de los algoritmos de la inteligencia artificial y la falta de mecanismos de rendición de cuentas dificultan enormemente la posibilidad de cuestionar y corregir los sesgos. La ausencia de supervisión humana y la falta de la capacidad de apelación permiten que la justicia social se convierta en un sistema automatizado, deshumanizado y, injusto.

Opinión Crítica de La Automatización de la Desigualdad: Análisis y Recomendaciones

«La Automatización de la Desigualdad» es un libro esencial para comprender las implicaciones sociales y éticas del rápido avance de la tecnología en el ámbito de la justicia social. El trabajo de Eubanks es un claro ejemplo de cómo la minería de datos y la inteligencia artificial, que se presentaban como soluciones para mejorar la eficiencia y reducir la corrupción, pueden, de hecho, reforzar y amplificar las desigualdades existentes. La autora logra presentar un argumento convincente, apoyado por ejemplos concretos y un análisis riguroso.

El principal valor del libro radica en suponer las alarmas sobre el potencial de la automatización para perpetuar y exacerbar la discriminación. Eubanks nos recuerda que los algoritmos no son neutrales; son construcciones sociales que reflejan y reproducen los sesgos y las desigualdades que existen en la sociedad. La autora no solo critica las prácticas actuales, sino que también ofrece una visión clara de cómo podría evolucionar este panorama si no se toman medidas para abordar los problemas. El libro invita a una reflexión profunda sobre el papel del Estado, la responsabilidad social y el futuro de la justicia social en la era digital.

Sin embargo, el libro no ofrece soluciones fáciles. A pesar de que Eubanks presenta con claridad los riesgos, el libro no ofrece un plan detallado para evitar que los algoritmos se conviertan en herramientas de control y discriminación. Una recomendación clave de Eubanks es que se invierta en supervisión humana y regulación de los sistemas automatizados utilizados en la administración de justicia social. La supervisión humana es crucial para garantizar que los algoritmos se utilizan de forma responsable y que se tienen en cuenta las circunstancias individuales de cada caso. Además, es necesario desarrollar marcos legales que protejan los derechos de las personas y les den la posibilidad de cuestionar y apelar las decisiones basadas en algoritmos.

“La Automatización de la Desigualdad” es una lectura obligatoria para cualquiera que se interese en el futuro de la justicia social y el papel de la tecnología en la sociedad. El libro nos invita a ser críticos con la promesa de la automatización y a defender un futuro donde la tecnología se utilice para promover la equidad, la justicia y la dignidad humana.