na de las promesas más importantes del análisis de datos es la capacidad de adelantarse al futuro. A la vista de las crisis y los riesgos que nos amenazan, es lógico el deseo de que la política sea menos reactiva y más proactiva. La Comisión Europea celebra la “inteligencia anticipatoria” que dotaría a los sistemas políticos de capacidad para gestionar los desafíos del largo plazo. La llamada “policía preventiva” acaba de traducirse en la ampliación de los poderes de Europol para que recabe más datos y pueda anticiparse a posibles crímenes.
Si nadie duda de que la anticipación del futuro es de gran relevancia para las decisiones colectivas de nuestros sistemas políticos, el procedimiento a través del análisis de datos tiene sus límites y paradojas. Hay que tener en cuenta, de entrada, que los algoritmos están programados para ver algo únicamente como patrones, es decir, como regla, cuando lo reconocen estadísticamente después de haber examinado una gran cantidad de datos, pero no prestan atención al caso individual. La Federal Trade Commission americana nos proporciona a este respecto un ejemplo ilustrativo al mostrar que los algoritmos pueden rechazar derechos sobre la base de acciones de otros individuos con los que se comparten ciertas características. Es el caso de una sociedad de cartas de crédito que disminuyó la cantidad disponible de uno de sus clientes a partir del análisis efectuado sobre otros clientes que frecuentaban las mismas tiendas y que tenían una mala historia de pago. Estas prácticas contribuyen a una forma de desindividualización, tratando a las personas a partir de características o perfiles a las que son asimilados en vez de a través de la observación del propio comportamiento.
Pensemos en el hecho de que un programa como COMPAS, que calcula el riesgo de reincidencia de los detenidos y se emplea para decidir su situación carcelaria, es incapaz de tratar con equidad a los blancos y a los negros. Las predicciones suelen acertar cuando advierten de que un grupo de población suele cometer más delitos que otro, pero no se pregunta por qué eso es así y mucho menos se plantea decisiones políticas para ponerle remedio a esa condición. El problema consiste en que la predicción analítica confiere al statu quo una capacidad de prescripción, que los datos analizados están plagados de desigualdades y estas desigualdades se refuerzan mediante previsiones supuestamente normativas.
El hecho de que los sistemas de machine learning busquen patrones para convertirlos en reglas de la predicción de eventos futuros significa que el único saber que producen tiene que ver con el pasado. Todo lo que pueden pronosticar está ya de alguna manera anticipado en el pasado. Para muchas cuestiones este modo de proceder es de gran utilidad y no plantea más problemas, por ejemplo. Ahora bien, un sistema algorítmico no pronostica propiamente si alguien va a cometer un delito. Los únicos datos de los que dispone ese sistema son los datos relativos a detenciones y condenas en el pasado. Esas bases de datos contienen todos prejuicios raciales y la vinculación que existe de hecho entre la criminalidad y la situación de pobreza. El pronóstico de peligrosidad se realiza a partir de datos como, por ejemplo, si tal persona o su entorno de amigos y familiares han sido detenidos en el pasado, cuáles fueron sus notas, si sus padres están separados, si está desempleado, si vive en un barrio donde se cometen ese tipo de delitos, pero también acerca de los rasgos que comparte con personas similares... Un verdadero círculo vicioso con el efecto sistemático, por ejemplo, de castigar más a los negros porque hubo más negros condenados en el pasado. Se trata de un sesgo racista procedente del pasado que nada tiene que ver con la persona concreta pero que tiene efectos decisivos sobre ella. Los individuos son así afectados por medidas que se adoptan en función de pronósticos basados en el pasado y en colectivos.
Desde el punto de vista de la dinámica social, los límites de las extrapolaciones a partir del pasado se deben a la dinámica no lineal de los sistemas complejos y a la todavía más enigmática libertad humana. Hay muchos fenómenos de rebelión y cambio que interrumpen la extrapolación previsible y de los que resulta algo inesperado e inesperable a partir de los datos disponibles. La predicción es un sesgo generalizado; por muchos aciertos que tenga, siempre generaliza de modo injusto, es decir: habrá quien cumpla el criterio y no sea quién estábamos buscando. ¿Cómo calcular la verosimilitud de una ruptura de las expectativas que se han formulado únicamente sobre la base de datos existentes, es decir, datos del pasado? Esta es la gran cuestión que debería al menos conducirnos a una mayor conciencia de los límites de toda predicción.
Una crítica de la razón predictiva debería revisar el marco conceptual en el que se mueve idea dominante de predicción. La diferencia entre lo posible y lo real, entre la propensión y la causalidad es lo único que puede asegurar el principio de presunción de inocencia en la era de los algoritmos. Forma parte de la condición humana tanto el esfuerzo por anticipar el futuro como nuestra resistencia a dejarnos atrapar por esa anticipación, nuestra capacidad de desafiar lo imposible y decepcionar lo esperable. Un mundo de turbulencias y volatilidad, un sistema político con el que los ciudadanos somos cada vez más exigentes necesita más y mejores previsiones. Las predicciones serán más exactas cuanto más conscientes sean de sus límites, de su dependencia contextual y su necesidad de interpretación.
El autor es catedrático de Filosofía Política, investigador Ikerbasque en la Universidad del País Vasco y titular de la Cátedra Inteligencia Artificial y Democracia en el Instituto Europeo de Florencia. @daniInnerarity
