Nueva ley de IA: los trágicos casos reales de algoritmos perversos que quiere evitar
El Consejo de Ministros aprobó el 26 de mayo el proyecto de ley español sobre inteligencia artificial (IA), que incorpora las exigencias del Reglamento Europeo de IA de 2023 y establece límites claros a dos fenómenos que han generado creciente preocupación: los deepfakes y el “social scoring”. La norma persigue evitar la manipulación audiovisual y la clasificación automática de ciudadanos que puedan derivar en sanciones o privilegios injustificados.
Principales medidas de la nueva ley
Entre las disposiciones más relevantes, la legislación española prohíbe expresamente los sistemas de IA que:
- Generen contenidos audiovisuales falsos (deepfakes) con fines de suplantación o humillación, especialmente cuando se dirigen a mujeres y menores.
- Realicen evaluaciones automáticas de personas (social scoring) que puedan afectar derechos, como el acceso a ayudas, créditos o servicios públicos.
- Utilicen la manipulación subliminal o exploten vulnerabilidades vinculadas a la edad, discapacidad o situación socioeconómica.
- Ejecuten reconocimiento biométrico masivo en espacios públicos sin el consentimiento expreso y específico de los individuos.
La normativa también exige que cualquier uso de reconocimiento facial o identificación biométrica cuente con autorización clara del usuario, indicando el fin de la captura y el plazo de conservación de los datos, tal como establece el marco europeo.
Contexto y ejemplos que motivan la regulación
El impulso legislativo se sustenta en casos concretos que han revelado el daño que pueden causar estas tecnologías. A principios de 2023, herramientas de IA como X y Grok fueron empleadas para “desnudar” digitalmente a mujeres, alterando fotografías reales y generando imágenes sin ropa. Según el informe *State of Deepfake 2023*, el 99 % de estas creaciones están orientadas a humillar a mujeres desde al menos 2022. Además, UNICEF estima que 1,2 millones de niños y niñas han sido objeto de alteraciones algorítmicas con fines de sexualización.
En el ámbito del social scoring, el caso neerlandés de 2013 constituye una advertencia clara. La agencia tributaria utilizó un algoritmo de riesgo para detectar posibles fraudes en ayudas para guarderías, cruzando diecisiete categorías de datos. El resultado fue la acusación de fraude a unas 26 000 familias, mayoritariamente de barrios obreros y con doble nacionalidad, obligándolas a devolver decenas de miles de euros sin pruebas sustanciales. El sistema, una “caja negra”, fue declarado ilegal en febrero de 2020 por vulnerar derechos humanos, tras la intervención de una abogada española que actuó en los Países Bajos.
La filósofa Carissa Véliz, del Instituto de Ética en Inteligencia Artificial de la Universidad de Oxford, advierte que las predicciones algorítmicas sobre individuos pueden convertirse en profecías autocumplidas, afectando directamente la vida de las personas. “Una predicción sobre nubes no cambia el clima, pero predecir sobre personas sí puede modificar su destino”, señaló en su entrevista con Mario Viciosa.
Por su parte, el experto en biometría Anil Jain subraya que el problema no radica en la tecnología per se, sino en los mecanismos de control. El Reglamento Europeo ya exige un consentimiento informado para cualquier captura de datos biométricos. Jain alerta sobre el riesgo de que empresas privadas, como Worldcoin —que ofrecía criptomonedas a cambio del escaneo del iris— recopilen datos sensibles sin garantías suficientes, especialmente en países en desarrollo.
El filósofo Daniel Innerarity, titular de la cátedra de IA y Democracia en la Universidad del País Vasco, amplía la reflexión al señalar que “no existen datos del futuro”; los algoritmos se alimentan de datos pasados, perpetuando sesgos históricos. Critica la falta de comprensión de los grandes magnates de la IA sobre psicología humana, democracia y comportamiento social.
El ciberactivista y profesor Cory Doctorow, de la Universidad de Cornell, sostiene que Europa solo podrá garantizar la soberanía digital si impone límites firmes a los desmanes algorítmicos. “Las grandes empresas convierten a sus reguladores en cómplices, aprobando políticas que les permiten crecer aún más”, afirma, y añade que la UE tiene ahora la oportunidad de regular a las grandes tecnológicas de EE. UU. sin temor a represalias comerciales significativas.
Mira tambien:
Deja una respuesta