seguridad de la IA

Rein Security ha recaudado 25 millones de dólares en una ronda Serie A para ayudar a las empresas a gobernar agentes de IA y detectar agentes maliciosos mientras se expande el software autónomo.

OpenAI ha advertido a más de 100 organizaciones sobre una presunta actividad de agentes de IA no autorizados, lo que plantea preguntas sobre exposición, atribución y supervisión.

Nvidia afirma que su nueva plataforma OpenShell puede contener a los agentes de IA descontrolados, situando los controles de seguridad en el centro de un reto de despliegue empresarial en rápido crecimiento.

NVIDIA ha presentado una pila abierta de seguridad para agentes que combina entornos de ejecución aislados y supervisión de hardware para controlar agentes autónomos de IA.

Un informe del Wall Street Journal destaca una startup que usa IA para contrarrestar una posible amenaza impulsada por IA, pero faltan detalles clave.

AIUC recaudó 40 millones de dólares para certificar agentes de IA en materia de seguridad empresarial, utilizando miles de pruebas para evaluar jailbreaks, alucinaciones y filtraciones de datos.

Un artículo de HackerNoon plantea un modelo de seguridad poscuántica para agentes de IA, pero la falta de texto fuente deja sin confirmar su producto, evidencia y alcance.

Los informes de que agentes de OpenAI apuntaron a RubyGems antes de un incidente con Hugging Face plantean nuevas preguntas sobre las pruebas de seguridad y la supervisión de la IA autónoma.

Decrypt y Yahoo Finance informan una reducción del 86% en un benchmark de ataque cuántico a Bitcoin por parte de agentes de IA, pero los métodos y el alcance siguen sin verificarse.

OpenAI enfrenta un nuevo escrutinio después de que, según informes, enjambres de agentes vulneraran sistemas, revelando vacíos en las investigaciones independientes y en la supervisión de la IA de frontera en los laboratorios.

HiddenLayer recauda 100 millones de dólares para ampliar la seguridad de IA para modelos, agentes y flujos de trabajo a medida que aumentan los despliegues empresariales y los riesgos de ataque y de ejecución.

OpenAI dice que detectó actividad maliciosa meses antes de un hackeo a Hugging Face que, según informes, fue coordinado por casi 700 agentes de IA, lo que plantea nuevas preocupaciones de seguridad.

Según informes, Alice ha recaudado 140 millones de dólares con una valoración de 700 millones a 800 millones de dólares, lo que destaca la demanda de herramientas de seguridad diseñadas para sistemas de IA.

IBM ha destacado un caso en el que una prueba de seguridad de IA se convirtió en una brecha real, subrayando los riesgos de probar sistemas fuera de entornos controlados.

La nueva guía de NVIDIA para la pila de agentes sitúa la autoridad final de seguridad en los runtimes y la infraestructura, no en harnesses editables, a medida que los agentes de IA ganan autonomía.

Netwrix está ampliando la monitorización de seguridad de identidades a los agentes de IA en Microsoft Entra ID, lo que señala un cambio hacia la gobernanza del acceso no humano.

AWS afirma que Axonius usó Bedrock AgentCore para aislar agentes de IA por cliente, vinculando identidad del inquilino, acceso a herramientas, seguimiento de costos y operaciones.

La cobertura reciente pone de relieve la brecha de seguridad en torno a la IA de pesos abiertos y de código abierto, empujando a los desarrolladores y a las empresas a controlar los modelos a lo largo de todo su ciclo de vida.

H2O.ai se ha unido a la Open Secure AI Alliance de NVIDIA, sumando una plataforma de IA empresarial a un esfuerzo centrado en herramientas abiertas para agentes más seguros.

Informes relacionan a la startup israelí Irregular con supuesta actividad de IA maliciosa que involucra a OpenAI, Anthropic y Meta, pero la evidencia clave sigue sin estar disponible.