¿Son éticos el BIG-DATA y los algoritmos? - Libro: Armas de destrucción matemática de Cathy O'neil

Hoy me gustaría compartir con vosotros mi última lectura: Armas de destrucción matemática de Cathy O'neal.  

Una lectura entretenida y bastante inquietante, lo reconozco. Describe una de esas verdades incómodas que todos conocemos, pero que  nos esforzamos por obviar (como la huella de carbono que deja la ganadería) En este caso hablamos de los modelos matemáticos que a día de hoy rigen nuestras vidas ¿No te lo crees? Pasa y siéntate.

Para aquellos que no estén muy familiarizados con el asunto: un modelo matemático es el empleo de un formulismo que expresa de forma numérica y cuantificable las relaciones, hechos o variables (y sus relaciones entre ellas) O dicho de otra forma: Es lo que usamos para cuantificar aspectos abstractos.

Actualmente para entrar en un trabajo, conseguir un crédito, conseguir un aumento, evitar un despido, o acceder a una univeridad (en EEUU)... se usan modelos matemáticos que deciden por nosotros; bueno: que DESCARTAN por nosotros. 

Spoiler:

"El 72% de los curriculos jamas llega a ser visionado por un ser humano."

En la era del Big Data, donde podemos disponer de toneladas de información de referencia, tener una varita mágica que nos permita decidir con mayor seguridad: es oro. Las grandes tecnológicas se han esforzado por sacar el máximo beneficio de nuestra información (Sí de toda esa información que regalamos felizmente con nuestro móvil, reloj inteligente, acceso a páginas web, etc...) Más o menos es la conjunción de los siguientes elementos:

Parece una panacea ¿Por qué tanto alboroto?

 Todo es cuestión de meterse más profundo en la madriguera del conejo y hacerse otras preguntas:

¿Es justo que un seguro de vida te cobre más porque ha consultado los datos de actividad física en tu código postal? 

¿Es justo que se valore a un trabajador por unos resultados/métricas que no dependen de él? 

¿Es justo que un algoritmo determine que NO ERES una persona válida solo por un dato erroneo o desactualizado?

¿Qué pasa si esa información recabada sobre nosotros es errónea o está sesgada?

El uso de estos modelos está ya más que extendido. Nos ayudan a decidir y automatizar decisiones, pero existen tres grandes problemas:

- Su opacidad.

    El funcionamiento de estos modelos/algoritmos es totalmente opaco. Los criterios, variables, proxies (valores comodin) y ponderaciones queda totalmente a oscuras del público, lo que impide comprobar los destructivos que pueden ser antes de que hagan mucho daño a la sociedad.

- Su finalidad.

    Sí, parece una tontería, pero la finalidad de estos modelos es otro de los puntos críticos. No podemos re-utilizar modelos matemáticos para diferentes fines, pues podrían ser verdaderamente catastrófico. ¿Deben de usar las empresas de apuestas modelos de reincidencia como Amazon? ¿Es siquiera ético? ¿Dónde está el límite entre los márgenes de beneficio y la salud de la sociedad? ¿Seguro que no han cometido un error en la programación?

- Su escalabilidad 

    Hay modelos que bien diseñados y ubicados en sitios concretos, pueden ser extremadamente beneficiosos, pero el mismo modelo aplicado a un espectro mucho mayor podría acabar en contra de los intereses globales. Los ejemplos más claros son los de la Banca y a dónde nos llevó el uso de estos modelos de crédito en 2008. 

Y otro GRAN problema es que estos sistemas necesitan de una retroalimentación CONSTANTE y de un gran espectro de población/dispersión geográfíca/etc. Si no el modelo que esté mal diseñado o que use datos viejos, incompletos o sesgados corre el peligro de crear círculos viciosos en la toma de decisiones. 

Hay muchos ejemplos y muy bien explicados en el libro que retratan todos estos problemas y retos a los que nos enfrentan los profesionales de la ciencia de datos. 

Lo normal es que estos modelos matemáticos de DESCARTE se usen sobre la gente con menos recursos. Lo cual crea una espiral de la que esos mismos modelos no te dejan salir. A la gente con más dinero se la da un trato personal y el que haya tenido un parte o un impago puntal no será motivo de descarte automático, mientras que a los pobres mortales les pondrán UNA ETIQUETA que alimentará decenas de otros modelos, que tomarán decisiones sobre tu vida, tu trabajo, tu ocio,... todo.

En resumen: Si te parece interesante este asunto, no dejes escapar la oportunidad de leer este libro que arroja bastante luz, e incluso un pequeño rayo de esperanza al final del túnel.