Relatórios de danos impulsionados por IA aumentam 50% enquanto incidentes de deepfake eclipsam falhas tradicionais

O panorama da segurança da inteligência artificial (artificial intelligence, AI) está passando por uma mudança dramática. Segundo uma nova análise de dados do AI Incident Database (AIID), os incidentes relatados de danos relacionados à IA aumentaram 50% ano a ano entre 2022 e 2024. Ainda mais preocupante, os dados dos primeiros dez meses de 2025 indicam que o ano atual já superou o total de 2024, sinalizando uma tendência acelerada em vez de um pico temporário.

Para observadores do setor e partes interessadas na Creati.ai, esses dados confirmam uma transição decisiva na natureza do risco tecnológico. Onde os incidentes de IA eram antes dominados por erros em veículos autônomos ou por vieses algorítmicos em sistemas estáticos, a proliferação da IA generativa (Generative AI) inaugurou uma nova era definida por deepfakes, uso malicioso e golpes com mídia sintética.

The Shift from Accidents to Malicious Use

A descoberta mais marcante nos dados recentes é a mudança fundamental em como a IA causa danos. Entre 2018 e 2022, os principais motores dos incidentes relatados eram frequentemente limitações de sistema — carros autônomos falhando em detectar ciclistas ou sistemas de reconhecimento facial exibindo viés racial. No entanto, o lançamento de modelos generativos poderosos inverteu essa dinâmica.

Desde 2023, incidentes ligados especificamente a vídeos deepfake superaram relatos relacionados a veículos autônomos, reconhecimento facial e algoritmos de moderação de conteúdo combinados. Isso marca uma transição de "acidentes de IA" (onde o sistema falha em operar como pretendido) para "uso malicioso" (onde o sistema opera exatamente como pretendido, porém para fins nocivos).

Tendências-chave identificadas na análise incluem:

• Atores maliciosos: Relatos de indivíduos usando IA para enganar vítimas ou espalhar desinformação cresceram 8 vezes desde 2022.
• Dominância generativa: Vídeos deepfake e problemas na geração de imagens agora dominam os registros de incidentes, impulsionados pela crescente acessibilidade de ferramentas como Midjourney, Sora da OpenAI e Grok da xAI.
• Riscos de cibersegurança: Novas ameaças estão surgindo em domínios sensíveis, como a interceptação de assistentes de codificação para ciberataques.

Analisando os dados de incidentes

Para entender a escala desse problema, é essencial olhar os números brutos fornecidos pelo AI Incident Database e pelos pesquisadores do MIT FutureTech. A trajetória mostra um aumento exponencial nos danos relatados correspondente ao lançamento em massa de Modelos de Linguagem de Grande Porte (Large Language Models, LLMs).

Incidentes anuais relatados de IA (2020-2024)

Fonte dos dados: AI Incident Database / MIT AI Incident Tracker

Daniel Atherton, editor do AI Incident Database, enfatiza que esses números provavelmente são apenas a ponta do iceberg. "A IA já está causando danos no mundo real", observa Atherton. "Sem rastrear falhas, não podemos corrigi-las." Ele alerta que, embora os dados coletados pelo público tenham limitações, eles permanecem atualmente uma das poucas janelas viáveis para a escala do problema, já que o reporte corporativo continua fragmentado.

The "Unknown Developer" Problem

Um dos desafios mais complexos para reguladores e pesquisadores de segurança é a atribuição. Embora grandes gigantes de tecnologia sejam frequentemente citados em relatórios devido à sua alta visibilidade, uma parcela significativa do dano causado por IA é gerada por ferramentas cujo desenvolvedor subjacente é não identificável.

Desde 2023, mais de um terço de todos os incidentes relatados envolveu um desenvolvedor de IA "Unknown". Isso ocorre frequentemente no contexto de golpes em redes sociais, onde um usuário encontra um anúncio deepfake ou um esquema de investimento fraudulento em plataformas como Facebook ou Instagram, mas a ferramenta específica usada para criar a mídia sintética não pode ser determinada.

Simon Mylius, pesquisador afiliado ao MIT FutureTech, aponta que isso cria um "ruído" significativo nos dados. Para combater isso, sua equipe implantou LLMs para analisar reportagens e classificar incidentes com mais precisão. Essa análise mais profunda revela que, enquanto algumas categorias como "discriminação gerada por IA" mostraram uma diminuição relativa em 2025, incidentes de "Interação Computador-Humano" — como usuários desenvolvendo apegos pouco saudáveis a chatbots ou experienciando "psicose" impulsionada por modelos que apresentam alucinações — estão em ascensão.

Case Study: The Speed of Harm

A volatilidade do cenário atual foi ilustrada de forma marcante por um incidente recente envolvendo o Grok da xAI. Após uma atualização de software, o modelo teria sido usado para gerar imagens sexualizadas não consensuais de pessoas reais a uma taxa estimada por alguns pesquisadores em 6.700 imagens por hora.

Esse incidente provocou uma reação regulatória imediata, incluindo bloqueios pelos governos da Malásia e da Indonésia e uma investigação pelo órgão de fiscalização da mídia do Reino Unido. Serve como um exemplo principal de como "avanços técnicos" podem se traduzir instantaneamente em "dano em escala" se as salvaguardas de segurança não forem rigorosamente testadas antes do lançamento. A xAI subsequente limitou as ferramentas de geração de imagem a assinantes pagantes e implementou bloqueios mais rigorosos para imagens de pessoas reais, mas o incidente destaca a natureza reativa dos protocolos de segurança atuais.

Regulatory and Industry Response

O aumento nos relatos validou a urgência por trás de movimentos legislativos recentes, como o EU AI Act e o Transparency in Frontier AI Act (SB 53) da Califórnia. Essas leis obrigam desenvolvedores a reportar incidentes críticos de segurança, teoricamente reduzindo a dependência de reportagens da mídia para obtenção de dados.

No entanto, a indústria também tenta a autorregulação por meio de padrões técnicos. A iniciativa Content Credentials — um sistema para watermarking e incorporação de metadados para verificar a autenticidade de conteúdo — angariou apoio de pesos-pesados como:

• Google
• Microsoft
• OpenAI
• Meta
• ElevenLabs

Notavelmente, o gerador de imagens popular Midjourney ainda não adotou plenamente esse padrão emergente, deixando uma lacuna no ecossistema.

A Call for Systematic Vigilance

Para a Creati.ai, o aumento de 50% nos relatos de incidentes é um chamado de atenção. Sugere que, à medida que os modelos de IA se tornam mais capazes, a "superfície de ataque" para potenciais danos se expande. A Anthropic revelou recentemente que havia interceptado um ciberataque em grande escala que tentava utilizar seu assistente Claude Code, levando a empresa a declarar que a indústria atingiu um "ponto de inflexão" em relação à IA na cibersegurança.

Os dados do AI Incident Database provam que o dano causado por IA não é mais hipotético ou raro. Está se tornando um componente mensurável e crescente da economia digital. Como observa Simon Mylius, devemos ter cuidado para não permitir que esses incidentes se tornem "parte do ruído de fundo". Seja a crise súbita de uma onda de deepfakes ou a erosão gradual da confiança por meio da desinformação, o rastreamento e a análise dessas falhas são o único caminho rumo a um futuro de IA mais seguro.