Los informes de daños impulsados por IA (AI) aumentan un 50% mientras los incidentes de deepfake eclipsan las fallas tradicionales

El panorama de la seguridad de la inteligencia artificial (Artificial Intelligence, AI) está experimentando un cambio dramático. Según un nuevo análisis de datos de la AI Incident Database (AIID), los incidentes reportados de daños relacionados con la IA han aumentado un 50% interanual entre 2022 y 2024. Aún más preocupante, los datos de los primeros diez meses de 2025 indican que el año en curso ya ha superado el total de 2024, señalando una tendencia de aceleración más que un pico temporal.

Para los observadores de la industria y las partes interesadas en Creati.ai, estos datos confirman una transición fundamental en la naturaleza del riesgo tecnológico. Donde antes los incidentes de IA estaban dominados por errores de vehículos autónomos o sesgos algorítmicos en sistemas estáticos, la proliferación de la inteligencia artificial generativa (Generative AI) ha dado paso a una nueva era definida por deepfakes, el uso malintencionado y las estafas con medios sintéticos.

El cambio de accidentes a uso malintencionado

El hallazgo más llamativo en los datos recientes es el cambio fundamental en cómo la IA está causando daño. Entre 2018 y 2022, los impulsores principales de los incidentes reportados solían ser limitaciones del sistema: automóviles autónomos que no detectaban ciclistas o sistemas de reconocimiento facial que mostraban sesgo racial. Sin embargo, el lanzamiento de modelos generativos potentes ha invertido esta dinámica.

Desde 2023, los incidentes vinculados específicamente a deepfake video han superado en número a los reportes relacionados con vehículos autónomos, reconocimiento facial y algoritmos de moderación de contenido combinados. Esto marca una transición de "accidentes de IA" (donde el sistema no funciona como se pretende) a "uso malintencionado" (donde el sistema funciona exactamente como se pretende, pero con propósitos dañinos).

Tendencias clave identificadas en el análisis incluyen:

• Actores maliciosos (Malicious Actors): Los informes sobre individuos que usan IA para estafar víctimas o difundir desinformación han crecido 8 veces desde 2022.
• Dominio generativo (Generative Dominance): Los videos deepfake y los problemas de generación de imágenes ahora dominan los registros de incidentes, impulsados por la creciente accesibilidad de herramientas como Midjourney, Sora de OpenAI y Grok de xAI.
• Riesgos de ciberseguridad: Están surgiendo nuevas amenazas en dominios sensibles, como la interceptación de asistentes de codificación para ciberataques.

Análisis de los datos de incidentes

Para entender la magnitud de este problema, es esencial mirar los números en bruto proporcionados por la AI Incident Database y los investigadores de MIT FutureTech. La trayectoria muestra un aumento exponencial en los daños reportados que corresponde con el lanzamiento generalizado de Modelos de Lenguaje a Gran Escala (Large Language Models, LLMs).

Incidentes anuales reportados de IA (2020-2024)

Fuente de datos: AI Incident Database / MIT AI Incident Tracker

Daniel Atherton, editor en la AI Incident Database, enfatiza que estos números probablemente sean solo la punta del iceberg. "La IA ya está causando daños en el mundo real", señala Atherton. "Sin rastrear las fallas, no podemos repararlas." Advierte que, si bien los datos crowdsourced tienen limitaciones, actualmente siguen siendo una de las pocas ventanas viables para conocer la escala del problema, ya que los informes corporativos permanecen fragmentados.

El problema del "Desarrollador Desconocido"

Uno de los desafíos más complejos para los reguladores y los investigadores de seguridad es la atribución. Si bien los grandes gigantes tecnológicos son citados con frecuencia en los informes debido a su alta visibilidad, una porción significativa del daño causado por la IA es generada por herramientas cuyo desarrollador subyacente no está identificado.

Desde 2023, más de un tercio de todos los incidentes reportados involucraron a un desarrollador de IA "Desconocido". Esto suele ocurrir en el contexto de estafas en redes sociales, donde un usuario encuentra un anuncio deepfake o un esquema de inversión fraudulento en plataformas como Facebook o Instagram, pero no se puede determinar la herramienta específica utilizada para crear el medio sintético.

Simon Mylius, investigador afiliado en MIT FutureTech, señala que esto crea un "ruido" significativo en los datos. Para combatirlo, su equipo ha desplegado LLMs para analizar informes de noticias y clasificar los incidentes con mayor precisión. Este análisis más profundo revela que, si bien algunas categorías como la "discriminación generada por IA" mostraron una disminución relativa en 2025, los incidentes de "Interacción humano-computadora" ("Computer-Human Interaction") —como usuarios desarrollando apegos poco saludables a chatbots o experimentando "psicosis" inducida por modelos que alucinan— están en aumento.

Estudio de caso: la velocidad del daño

La volatilidad del panorama actual quedó ilustrada de forma contundente por un incidente reciente que involucró a Grok de xAI. Tras una actualización de software, se informó que el modelo fue utilizado para generar imágenes sexualizadas no consentidas de personas reales a una velocidad estimada por algunos investigadores en 6.700 imágenes por hora.

Este incidente provocó una reacción regulatoria inmediata, incluyendo bloqueos por parte de los gobiernos de Malasia e Indonesia y una investigación por parte del organismo regulador de medios del Reino Unido. Sirve como ejemplo principal de cómo los "avances técnicos" pueden traducirse instantáneamente en "daños a escala" si las salvaguardas de seguridad no se prueban rigurosamente antes del despliegue. Posteriormente xAI limitó las herramientas de generación de imágenes a suscriptores de pago e implementó bloqueos más estrictos para imágenes de personas reales, pero el incidente pone de relieve la naturaleza reactiva de los protocolos de seguridad actuales.

Respuesta regulatoria e industrial

El aumento de los reportes ha validado la urgencia detrás de los movimientos legislativos recientes, como el EU AI Act y la Transparency in Frontier AI Act (SB 53) de California. Estas leyes exigen que los desarrolladores reporten incidentes críticos para la seguridad, reduciendo en teoría la dependencia de los informes mediáticos para obtener datos.

Sin embargo, la industria también está intentando autorregularse mediante estándares técnicos. La iniciativa Content Credentials —un sistema para marcar con watermark e incrustar metadatos que verifiquen la autenticidad del contenido— ha obtenido el apoyo de grandes empresas como:

• Google
• Microsoft
• OpenAI
• Meta
• ElevenLabs

Cabe señalar que el popular generador de imágenes Midjourney aún no ha adoptado completamente este estándar emergente, dejando una brecha en el ecosistema.

Un llamado a la vigilancia sistemática

Para Creati.ai, el aumento del 50% en los reportes de incidentes es una llamada de atención. Sugiere que, a medida que los modelos de IA se vuelven más capaces, la "superficie de ataque" para el daño potencial se expande. Anthropic reveló recientemente que había interceptado un ciberataque a gran escala que intentaba utilizar su asistente Claude Code, llevando a la compañía a declarar que la industria ha llegado a un "punto de inflexión" respecto a la IA en ciberseguridad.

Los datos de la AI Incident Database demuestran que el daño causado por la IA ya no es hipotético ni raro. Se está convirtiendo en un componente medible y creciente de la economía digital. Como señala Simon Mylius, debemos tener cuidado de no permitir que estos incidentes se conviertan en "parte del ruido de fondo". Ya sea la crisis repentina de una ola de deepfakes o la erosión gradual de la confianza mediante la desinformación, el seguimiento y el análisis de estas fallas es la única vía hacia un futuro de IA más seguro.