El CEO de Anthropic esboza un plan para frenar el desarrollo de la IA

El CEO de Anthropic, Dario Amodei, ha pedido un ritmo más lento en el desarrollo de la IA de frontera, argumentando que los avances recientes han aumentado tanto las capacidades como los riesgos de los sistemas que se están construyendo. Propuso evaluadores independientes dentro de las principales empresas de IA, coordinación sobre estándares de seguridad y acuerdos internacionales limitados sobre usos peligrosos.

La propuesta marca un cambio desde las advertencias generales sobre el riesgo de la IA hacia mecanismos específicos para restringir el desarrollo. El CEO de OpenAI, Sam Altman, dijo que OpenAI estaba de acuerdo en que las empresas necesitan “marcar el ritmo de la frontera” e indicó que adoptaría evaluadores integrados, aunque no ofreció un plan de implementación detallado. El CEO de SpaceX, Elon Musk, también respaldó públicamente la posición de Amodei.

Por qué Amodei pide una frontera de IA más lenta

En una nueva entrada de blog, Amodei dijo que dos acontecimientos le convencieron de que las empresas de IA deberían adoptar un enfoque más cauteloso: el presunto hackeo de OpenAI-HuggingFace y lo que describió como una fuerte aceleración de las capacidades de la IA. Puso especial énfasis en que los sistemas sean cada vez mejores ayudando a construir la siguiente generación de IA.

El argumento de Amodei no es abandonar el desarrollo de la IA. Más bien, dijo que las empresas deberían reducir la velocidad a la que mejoran las capacidades de los modelos mientras usan el tiempo adicional para reforzar las prácticas de seguridad. Mantuvo que la IA podría mejorar sustancialmente la vida de las personas, pero argumentó que esos beneficios dependen de construir e implementar la tecnología con mayor cuidado.

El momento también refleja una presión creciente dentro y fuera de los principales laboratorios de IA. TechCrunch informó que el investigador de Anthropic Jacob Coxon renunció por preocupaciones de que las principales empresas estaban asumiendo riesgos inaceptables. La publicación de Amodei no abordó explícitamente esa renuncia, y la evidencia disponible no establece que la provocara directamente. Sin embargo, sí demuestra que el debate sobre la seguridad de la IA se ha vuelto más visible incluso dentro de las organizaciones de modelos de frontera.

Los evaluadores integrados tendrían acceso interno

La propuesta más inmediata de Amodei es colocar evaluadores de seguridad de terceros dentro de las empresas de IA de frontera. Señaló a organizaciones como METR, que podrían verificar si las empresas están cumpliendo sus compromisos de ritmo y seguridad y ayudar a garantizar que se informen los incidentes significativos.

El acuerdo propuesto daría a los evaluadores identificación de la empresa, espacios de trabajo, portátiles y acceso ampliamente comparable al disponible para los equipos internos de evaluación de riesgos. Amodei dijo que podrían aplicarse excepciones cuando las leyes o los contratos lo requieran. Comparó el modelo con reguladores que trabajan dentro de las instituciones financieras en lugar de depender únicamente de divulgaciones posteriores a los hechos.

Anthropic se está comprometiendo “unilateralmente” con este enfoque, según la publicación de Amodei. Altman describió la idea como buena y dijo que OpenAI haría lo mismo, con más detalles por venir. Esos compromisos siguen siendo declaraciones ejecutivas, no programas operativos verificados de forma independiente. La evidencia disponible hasta ahora no especifica la autoridad de los evaluadores, la estructura de informes, la financiación ni su capacidad para publicar hallazgos.

Esa distinción importa para los creadores de IA y los compradores empresariales. Un evaluador con acceso pero sin poder para detener un lanzamiento puede ofrecer visibilidad sin cambiar las decisiones. Por el contrario, una función de revisión verdaderamente independiente podría afectar los calendarios de lanzamiento de modelos, las políticas de acceso, la respuesta a incidentes y la evidencia que reciben los clientes antes de desplegar agentes de IA en flujos de trabajo sensibles.

La coordinación se enfrenta a barreras de competencia y antimonopolio

Amodei también propuso que las principales empresas de IA en países democráticos coordinen estándares comunes de seguridad y límites al progreso sin control. Reconoció que la coordinación directa entre competidores podría plantear preocupaciones antimonopolio, especialmente si las empresas parecen restringir conjuntamente productos o ralentizar la competencia.

Su solución fue que el gobierno de EE. UU. medie o permita discusiones de seguridad definidas de forma limitada y otorgue una exención antimonopolio limitada. Esa propuesta requeriría que los responsables políticos distingan la cooperación técnica en materia de seguridad de la conducta anticompetitiva. El material fuente no indica que exista dicha exención ni que los gobiernos hayan aceptado crear una.

El desafío geopolítico es igualmente significativo. Quienes critican la desaceleración del desarrollo de la IA a menudo argumentan que las restricciones podrían permitir que China gane terreno. Amodei respondió que los controles a la exportación de chips potentes y equipos de fabricación de semiconductores, combinados con medidas más duras contra la destilación de modelos, podrían ampliar la ventaja de Estados Unidos en los próximos tres a cinco años.

Esos son juicios estratégicos, no resultados establecidos. Dependen de la aplicación, del ritmo de la innovación interna, de la capacidad de China para sustituir hardware y software restringidos, y de la disposición de los gobiernos aliados a coordinarse. La propuesta de Amodei vincula así la política de seguridad de la IA con la política industrial y las decisiones de seguridad nacional, en lugar de tratar el desarrollo de modelos como un asunto limitado a los laboratorios de las empresas.

La vía más estrecha podría ser reglas globales de seguridad

La propuesta final de Amodei fue la coordinación internacional entre Estados Unidos, sus aliados y los gobiernos autoritarios, cuando sea posible. Reconoció que la cooperación con China tendría límites claros, pero sugirió que los gobiernos aún podrían acordar un pequeño número de aplicaciones obviamente peligrosas.

Citó la producción de armas biológicas asistida por IA como un ejemplo de un área en la que una prohibición estrecha podría ser más alcanzable que un amplio acuerdo global sobre el desarrollo de la IA. Ese tipo de reglas no resolverían el debate más amplio sobre las capacidades de los modelos, pero podrían establecer límites mínimos en usos de alto impacto.

El enfoque también responde a un problema más amplio de confianza. Amodei argumentó que el rechazo público a la IA refleja escepticismo hacia las empresas tecnológicas, el sector tecnológico y los gobiernos. Críticos de la industria, incluido el periodista Brian Merchant, según cita TechCrunch, han cuestionado si los escenarios apocalípticos están suficientemente respaldados por evidencia paso a paso y han advertido que propuestas de seguridad amplias podrían fortalecer la posición de mercado de Anthropic y OpenAI.

Esa crítica pone de relieve un problema central de credibilidad: las empresas que piden más supervisión también ayudarían a definir los estándares, las reglas de acceso y los límites de ritmo. Una gobernanza independiente tendría que evitar que la coordinación de seguridad se convierta en un mecanismo de captura regulatoria o en protección de los laboratorios incumbentes frente a nuevos competidores.

Qué vigilar a continuación

La señal más clara a corto plazo será si OpenAI publica un plan concreto para evaluadores integrados, incluida su independencia, derechos de acceso, poderes de escalada y obligaciones de notificación de incidentes. La propia implementación de Anthropic será igualmente importante; un compromiso público por sí solo no mostrará si los evaluadores pueden influir en las decisiones de despliegue.

La respuesta de los responsables políticos proporcionará una segunda prueba. Esté atento a propuestas sobre una protección antimonopolio limitada para las conversaciones de seguridad, requisitos formales de notificación de incidentes y normas que regulen el acceso al desarrollo de modelos de frontera. Cualquier acción gubernamental revelará si las ideas de Amodei pueden ir más allá de las declaraciones ejecutivas.

Los creadores de IA y los clientes empresariales también deberían vigilar cómo estos compromisos afectan al ritmo de lanzamiento, el acceso a los modelos, la documentación de seguridad y las restricciones a capacidades de alto riesgo. Si el ritmo se vuelve operativo, las empresas podrían ver actualizaciones de modelos más lentas pero pruebas más sólidas sobre fiabilidad y riesgos de uso indebido. Si sigue siendo voluntario, la presión competitiva para lanzar sistemas cada vez más capaces podría continuar sin cambios.

Perspectiva de Creati.ai

El anuncio de Amodei es significativo porque convierte la frase “marcar el ritmo de la frontera” en un modelo operativo propuesto: evaluadores externos dentro de los laboratorios, discusiones comunes sobre seguridad y reglas internacionales limitadas. Pero la propuesta sigue estando en la fase de compromiso. Su valor dependerá de si los evaluadores son realmente independientes y de si los hallazgos de seguridad pueden retrasar o alterar los lanzamientos.

Para el mercado, la tensión no es simplemente entre un desarrollo rápido y uno lento de la IA. Es entre una velocidad que sigue siendo difícil de auditar y una velocidad acompañada de una supervisión creíble. Los creadores y compradores deberían tratar las últimas declaraciones de Anthropic y OpenAI como señales de expectativas de gobernanza cambiantes, no todavía como prueba de que el desarrollo de frontera se haya desacelerado de manera material.