Límites al uso de la inteligencia artificial en el ámbito policial y judicial
La previsión, la eficiencia y conveniencia del uso de las nuevas tecnologías basadas en Inteligencia Artificial (en adelante IA) rozan riesgos extraordinarios en la sociedad actual. Es verdad que aportan un elemento muy importante en el ámbito de la seguridad ciudadana. Son herramientas muy útiles para procesos de investigación en actividades ilícitas, sirven para el apoyo al control de nuestras fronteras y los flujos migratorios, etc. Pero todo lo que nos sirve para identificar y/o perfilar a una persona debe llevar el filtro de las garantías de la preservación de los derechos fundamentales de las personas que se ven afectadas. Debe considerarse, por lo tanto, la IA no como un fin en sí mismo sino como herramientas al servicio y seguridad de las personas.
En muy poco tiempo todos reconocemos palabras como drones, tecnología de reconocimiento facial, identificación biométrica mediante un control inteligente de detección de mentiras etc. y otros más comunes como videovigilancia, radares, seguimiento por vía satélite, etc.
Los limites en el uso por la policía de estas herramientas, que no se puede negar que a veces son muy valiosas y cubren situaciones difíciles de medios y falta de recursos humanos, lo ha venido a poner el Parlamento Europeo con una Resolución de fecha 6 de Octubre de 2021 sobre “La inteligencia artificial en derecho penal y su uso por parte de las autoridades policiales y judiciales en materia penal” en la que se advierte los peligros y limites que hay que tener en cuenta a la hora de manejar los algoritmos de IA, incorporando la necesidad de una intervención de supervisión humana, controles jurídicos que puedan evitar situaciones que atenten contra los derechos de las personas y sobre todo que se garantice, que las personas sujetas a la acción de estas herramientas, puedan poder apelar las decisiones tomadas respecto de ellas.
En estos procesos de identificación pueden producirse errores y darse perfilados de personas que pertenezcan a determinados colectivos: LGTBI, niños menores, adolescentes, personas de edad avanzada, distinción entre hombres y mujeres, razas, etc..
El Parlamento Europeo exige en el uso de la IA, garantías que prevengan la discriminación y el derecho a la privacidad. Se prohíben las bases de datos privadas de reconocimiento facial (tipo Clearview), y técnicas predictivas de comportamientos y sistemas de puntuación social a los que se les otorga una clasificación en función de su comportamiento o personalidad.
Así mismo, no se deben utilizar el reconocimiento automático en controles fronterizos ni en espacios públicos. Se deben prohibir las vigilancias de forma permanente, salvo en casos de ciudadanos que son sospechosos de la posible comisión de un delito.
Preocupa el uso de datos biométricos para la identificación a distancia, en concreto se nombra en la Resolución el proyecto “IborderCtrl” o sistema inteligente de control de mentiras utilizado por algunos países (Hungría, Letonia y Grecia) para el control de entrada al territorio europeo.
En base al principio de transparencia se pide que los algoritmos utilizados sean transparentes, rastreables y dejen huella documental. Las autoridades, en la medida de lo posible, deben utilizar programas de código abierto.
El uso de IA ha alcanzado un gran grado de desarrollo, pero todavía no existen programas que pueden igualar a la flexibilidad humana en tareas que requieran la comprensión de contextos o análisis críticos. La garantía de los derechos humanos y libertades fundamentales deben presidir en todo el ciclo de vida de la IA. En especial, el desarrollo de estas tecnologías debe, desde un principio, venir alineado con el cumplimiento estricto de las leyes en todas sus circunstancias, situando a las personas en su centro, trabajando para los derechos humanos evitando los prejuicios y discriminación.
Todo ello, sin olvidarnos que la IA ofrece grandes oportunidades de mejorar los métodos de trabajo de los organismos encargados de hacer cumplir la ley y que ese pueda combatir determinados tipos de delitos de forma eficaz, en especial, financiación del terrorismo, de blanqueo de capitales, delitos financieros, abuso y explotación de menores en la red, delitos informáticos, delitos de inmigración ilegal y tráfico de personas, etc.
En cualquier caso, es necesario un modelo de asignación de responsabilidad jurídica de los posibles efectos nocivos que pueda producir el uso de la IA en las personas y sus derechos. Considerando que las disposiciones reglamentarias en este ámbito deben mantener siempre la responsabilidad humana.
La base de la sociedad democrática es reaccionar ante la comisión de un delito, no aseverar que todos somos sospechosos a priori.
La Resolución solicita que se lleve a cabo una evaluación de impacto obligatoria sobre los derechos fundamentales antes de la implementación o despliegue de cualquier sistema de IA para la aplicación de la ley o el poder judicial, con el fin de evaluar cualquier riesgo potencial para dichos derechos.
Destaca que el uso de la IA requiere una formación especializada significativa con respecto a las disposiciones éticas, los peligros potenciales, las limitaciones y el uso adecuado de la tecnología de IA, especialmente para el personal policial y judicial; hace hincapié en que la formación y las cualificaciones profesionales adecuadas deben garantizar que los responsables de la toma de decisiones lo hacen de manera justa, proporcional y equilibrada.
Por último, destacamos el Considerando Q-2 que determina que “las soluciones de IA para las fuerzas del orden y el poder judicial también deben respetar plenamente los principios de dignidad humana, no discriminación, libertad de movimiento, presunción de inocencia y derecho de defensa, incluido el derecho al silencio y la libertad de expresión e información, libertad de reunión y asociación, igualdad ante la ley, principio de igualdad de armas y derecho a un recurso efectivo y un juicio justo, de conformidad con la Carta y el Convenio Europeo de Derechos Humanos; destaca que el uso de aplicaciones de inteligencia artificial debe prohibirse cuando sea incompatible con los derechos fundamentales”.
El Parlamento Europeo con esta Resolución insta a la Agencia de Derechos Fundamentales de la UE que elabore directrices recomendaciones y mejoras prácticas integrales en el uso de la IA. Estas irán viendo la luz y debemos estar atentos para seguir las mismas y evitar riesgos.
El balanceo entre riesgo al uso de la IA y proporcionalidad basada en el respeto a los derechos fundamentales del individuo será cada día más difícil, pero debemos tenerlo como un hito en los desarrollos, en la implantación y en las revisiones periódicas de los sistemas basados en IA.
#helas #proteccion de datos#riesgos#inteligenciaartificial#UE
María Victoria López Carnevali
Asesor Jurídico. Auditor protección de datos. Consultor de Compliance Penal
