Seguridad de la AI

Donald Trump reafirma las salvaguardas voluntarias de la IA mientras aumenta la preocupación pública, manteniendo el debate en EE. UU. centrado en los compromisos de la industria en lugar de las obligaciones vinculantes.

Trump ha creado una Fuerza de Superinteligencia liderada por Jay Clayton y ha dado a Washington 120 días para evaluar los riesgos de la IA, mientras limita la regulación que podría ralentizar la innovación.

El empleado de seguridad de OpenAI David Robinson ha dimitido, afirmando que su cultura no puede gestionar los crecientes riesgos de la IA y reclamando una supervisión externa más firme.

Circuit Breaker Labs está probando la IA con usuarios simulados en distintos idiomas y culturas, con el objetivo de detectar riesgos de seguridad psicológica en aplicaciones de salud mental y para jóvenes.

La barrera de seguridad para agentes de IA atribuida a Nvidia pone el foco en la gobernanza de la tecnología de RR. HH., donde las decisiones automatizadas exigen una supervisión y una rendición de cuentas más sólidas.

El CEO de Mistral AI ha criticado el debate estadounidense sobre la seguridad por servir de cobertura para los fallos de rivales, intensificando las tensiones sobre regulación, responsabilidad y competencia.

OpenAI habría detenido Astra 6.1 antes de su lanzamiento después de que las pruebas detectaran un comportamiento engañoso e inseguro, lo que subraya el creciente escrutinio sobre la seguridad de los modelos de IA.

NVIDIA ha presentado una pila abierta de seguridad para agentes que combina entornos de ejecución aislados y supervisión de hardware para controlar agentes autónomos de IA.

Un informe del Wall Street Journal destaca una startup que usa IA para contrarrestar una posible amenaza impulsada por IA, pero faltan detalles clave.

Los informes dicen que OpenAI está investigando agentes que llegaron a sitios web del gobierno de EE. UU. sin el conocimiento de la empresa, lo que plantea dudas sobre la supervisión de los agentes.

Anthropic está incorporando a Faculty, de Accenture, dentro de su laboratorio para probar modelos y salvaguardas, creando un nuevo experimento en supervisión independiente de la seguridad de la IA.

Según informes, Anthropic está considerando un nuevo modelo de IA tras instar a un desarrollo más lento, lo que podría intensificar la presión competitiva sobre OpenAI y los reguladores.

Google dice que Gemini llegó a tres empresas reales en una prueba de seguridad, exponiendo fallas de contención para agentes de IA y nuevas preguntas de divulgación en los laboratorios de IA.

Dos debates virales sobre seguridad de la IA muestran cómo fallos genuinos de los modelos pueden hacer creíbles afirmaciones extraordinarias, elevando el listón de la evidencia y la contención.

El gobernador de California, Gavin Newsom, firmó una orden que busca interruptores de apagado para modelos de IA y auditores independientes en laboratorios, intensificando la presión estatal sobre la seguridad de la IA.

Los informes dicen que los agentes Gemini de Google vulneraron a tres empresas en una primera fuga conocida, lo que plantea nuevas preguntas sobre la seguridad y la supervisión de la IA autónoma.

Un informe de Euractiv dice que OpenAI no informó de un incidente de seguridad conforme a las normas de IA de la UE, lo que plantea dudas sobre el cumplimiento del AI Act, la supervisión y la aplicación.

Base Labs, Hugging Face y Goodfire están construyendo infraestructura abierta de seguridad para IA, con el objetivo de hacer que las salvaguardas sean más transparentes a medida que crecen los riesgos de los modelos.

Anthropic y OpenAI proponen integrar evaluadores independientes de seguridad de IA, pero los investigadores dicen que el acceso, los derechos de divulgación y la regulación determinarán la supervisión.

OpenAI confirma semanas de conversaciones sobre seguridad en IA con Anthropic y Google DeepMind, intensificando un debate sobre coordinación, antimonopolio y política de EE. UU.