Ébola, gripe aviar y chikunguña: Anthropic bloqueó cinco conversaciones con su IA por su potencial uso como armas biológicas
Anthropic, la empresa detrás del modelo de inteligencia artificial Claude, ha decidido bloquear varios usos de sus sistemas tras identificar investigaciones que podrían contribuir al desarrollo de armas biológicas, incluidas algunas con alto potencial pandémico. En su informe publicado este jueves, la compañía explica que, aunque no se pudo confirmar si los investigadores tenían intenciones legítimas o maliciosas, el riesgo de que sus modelos facilitaran la creación de patógenos peligrosos llevó a la medida preventiva.
Durante el presente año, Anthropic detectó cinco casos en los que usuarios empleaban Claude para actividades relacionadas con la biotecnología de riesgo. Cuatro de esos casos estaban vinculados a organismos estatales, los cuales la empresa no ha nombrado para evitar exponer investigaciones que podrían ser puramente académicas. Los cinco incidentes ilustran la dificultad de distinguir entre investigación científica legítima y usos que puedan derivar en aplicaciones peligrosas.
Bloqueos específicos y contexto de los casos detectados
Los casos identificados incluyen:
- Un investigador que estudiaba toxinas bacterianas y proteínas asociadas a fiebres hemorrágicas virales con potencial pandémico, entre ellas el Ébola. Anthropic cerró el acceso tras confirmar el uso de Claude en dicha investigación.
- Un intento de un organismo estatal de emplear los modelos para analizar venenos no contagiosos, sin poder determinar el objetivo final.
- Una solicitud de financiación para un proyecto que buscaba aumentar la capacidad de transmisión y la resistencia del virus del chikungunya al sistema inmunitario. Aunque los resultados podrían haber sido útiles para vacunas o tratamientos, la empresa bloqueó la cuenta al constatar que los hallazgos serían replicados en un laboratorio militar.
- Investigaciones sobre el virus de la viruela y la adaptación de la gripe aviar a mamíferos, consideradas menos sospechosas pero que destacan la complejidad de diferenciar usos benignos de los potencialmente peligrosos.
- Un estudio que combinaba datos de patógenos con técnicas de ingeniería genética, cuya finalidad no quedó clara y que también fue detenido.
Anthropic subraya que, hasta la fecha, la información pública sobre el uso indebido de IA para desarrollar armas biológicas proviene de investigaciones académicas, informes gubernamentales, organismos internacionales y trabajos periodísticos. La compañía afirma que ninguna otra empresa de IA ha revelado públicamente evidencia de un uso indebido similar.
Además de los riesgos biológicos, el informe incluye otros incidentes de uso indebido detectados en los últimos ocho meses, relacionados con actividades de espionaje y desarrollo de armas en diferentes regiones:
- China: Se identificaron campañas destinadas a extraer capacidades de Claude para entrenar modelos propios. Entre los casos más relevantes, se registraron más de 151 millones de interacciones atribuidas a la empresa Alibaba.
- Rusia: Una operación vinculada al grupo de hackers “Midnight Blizzard” utilizó Claude para automatizar fases de ataques contra objetivos ucranianos, desde phishing hasta la modificación de malware.
- Yemen: Una célula utilizó el modelo para diseñar software de control de armamento, incluidos cohetes guiados y misiles, realizando al menos una prueba de lanzamiento de un cohete guiado.
Estos casos ponen de relieve el problema del “uso dual” de la IA: las mismas herramientas que pueden acelerar la investigación científica o facilitar tareas legítimas también pueden ser empleadas para crear malware, apoyar operaciones de espionaje o impulsar programas de armamento. Anthropic asegura haber desarrollado sistemas de detección específicos para identificar y bloquear actividades de alto riesgo, aunque reconoce que las evaluaciones de capacidad no garantizan que los resultados no puedan ser empleados para fabricar armas biológicas en el mundo real.
Mira tambien:
Deja una respuesta