Aikido Security dice que utilizó 11.7 mil millones de tokens en un esfuerzo por identificar el modelo de IA para ciberseguridad más fuerte, situando el costo y la complejidad de la evaluación de modelos en el centro de una historia de investigación en ciberseguridad.

El informe, titulado “We burned 11.7bn tokens to find the best cyber AI model”, es el único elemento sustantivo en el clúster de fuentes suministrado. No está disponible el texto completo del artículo, por lo que no es posible establecer de forma independiente, a partir de la evidencia disponible, qué modelos se probaron, qué tareas se usaron, cuánto se gastó, cuál fue el método de puntuación y cuál fue la recomendación final. Las dos entradas de fuente indexadas también son duplicados, no confirmaciones separadas.

Para los creadores de IA y los equipos de seguridad, el titular sigue apuntando a un problema práctico: seleccionar un modelo para trabajo de seguridad no es lo mismo que elegir un modelo a partir de una clasificación general. Los resultados pueden depender del tipo de análisis de vulnerabilidades, la base de código, los datos de alertas, el acceso a herramientas, la ventana de contexto y la revisión humana utilizados durante la prueba.

Lo que nos dice el experimento reportado — y lo que no

El hecho confirmado es limitado. Aikido Security publicó un informe que describe una evaluación de 11.7 mil millones de tokens destinada a encontrar el mejor modelo de IA para ciberseguridad. La evidencia disponible no identifica si esa cifra representa tokens de entrada, tokens de salida o un total combinado. Tampoco revela si el trabajo implicó interfaces de programación de aplicaciones alojadas, modelos desplegados localmente, bucles de agentes o una mezcla de enfoques.

Ese detalle faltante importa porque el consumo de tokens no es una medida directa de la calidad de la investigación. Una evaluación larga puede reflejar una amplia cobertura de pruebas, indicaciones repetidas, reintentos automatizados, grandes repositorios de código o flujos de trabajo ineficientes. Por el contrario, una prueba más pequeña puede pasar por alto modos de fallo importantes. Sin el protocolo experimental, los lectores no pueden determinar si el esfuerzo informado fue un benchmark controlado, un ejercicio interno de producto o una prueba más amplia de modelos en flujos de trabajo de seguridad operativa.

Por lo tanto, la fuente debe tratarse como una afirmación de evaluación reportada por el proveedor y no como un benchmark independiente del sector. Nada en el material suministrado confirma que la clasificación final de Aikido Security se aplique a equipos de seguridad, lenguajes de programación, categorías de amenazas o entornos de despliegue.

Por qué 11.7 mil millones de tokens importa para los compradores de modelos

El uso de tokens se ha convertido en una parte material de la economía de los productos de IA. En un flujo de trabajo de defensa cibernética, un modelo puede procesar código fuente, archivos de dependencias, descripciones de vulnerabilidades, registros, tickets, sugerencias de remediación y resultados de herramientas. Un agente que revisa repetidamente esos materiales puede consumir muchos más tokens que una sola interacción de pregunta y respuesta.

Eso hace que la cifra reportada sea relevante incluso sin un ganador revelado. Sugiere que la selección seria de modelos puede requerir un presupuesto de evaluación sustancial cuando los equipos prueban varios sistemas en tareas realistas. El costo no se limita al acceso al modelo. Los equipos de ingeniería también necesitan entornos de prueba, datos representativos, reglas de puntuación, herramientas en sandbox y revisores que puedan distinguir una respuesta plausible de una segura y correcta.

Para los compradores de IA empresarial, la pregunta clave no es simplemente qué modelo obtuvo la puntuación más alta. Es si el modelo puede ofrecer resultados confiables a un costo aceptable, preservando al mismo tiempo los controles de datos. Un modelo que funciona bien en una tarea estrecha de vulnerabilidades puede ser inadecuado si requiere enviar código fuente sensible a un proveedor externo, produce recomendaciones difíciles de auditar o falla cuando un repositorio supera su contexto utilizable.

Las pruebas de ciberseguridad necesitan más que clasificaciones de modelos

Una evaluación útil de un modelo de IA para ciberseguridad debería separar varias capacidades. La comprensión de código y el descubrimiento de vulnerabilidades son diferentes de explicar la explotabilidad, proponer un parche, validar ese parche o priorizar hallazgos para un equipo de seguridad. El uso de herramientas añade otra capa: un agente puede localizar más problemas cuando puede buscar archivos, ejecutar pruebas, inspeccionar dependencias o consultar un escáner, pero esos permisos también crean preocupaciones de seguridad y gobernanza.

La fuente disponible no dice cuál de estas dimensiones midió Aikido Security. Eso impide una comparación significativa entre el resultado reportado y los benchmarks de IA existentes. También deja abierta la pregunta de si el experimento midió precisión, recall, tasas de falsos positivos, calidad de la remediación, latencia, costo o productividad humana.

Esta distinción es importante para los equipos de producto que construyen asistentes de programación y herramientas de seguridad de IA. Un modelo puede parecer fuerte en una demostración y aun así crear fricción operativa por alertas excesivas, cambios de código inseguros o recomendaciones que requieren una revisión manual extensa. Los flujos de trabajo de seguridad suelen valorar decisiones consistentes y explicables por encima de las respuestas fluidas solamente.

Implicaciones para creadores y equipos empresariales

Los creadores que evalúan modelos de IA para seguridad deberían ver el gasto de tokens informado por Aikido Security como un recordatorio de definir la decisión antes de ejecutar la prueba. Los equipos necesitan especificar qué tareas importan, qué constituye una respuesta correcta, cómo los revisores humanos puntuarán los resultados y cómo se calculará el costo de la actividad repetida de los agentes.

También deberían probar el comportamiento de fallo. Un modelo que rechaza solicitudes inciertas, identifica evidencia faltante y evita tomar acciones no autorizadas puede ser más útil que uno que genera soluciones seguras en apariencia pero frágiles. Las evaluaciones deberían incluir repositorios y alertas que se parezcan a las condiciones de producción, mientras protegen el código confidencial y los datos de los clientes.

Para los programas de IA empresarial, la arquitectura de despliegue puede importar tanto como el modelo. Los equipos deben comparar opciones alojadas y autogestionadas, políticas de registro y retención, controles de acceso, permisos de herramientas y la capacidad de reproducir una recomendación. Estos factores pueden determinar si un sistema de seguridad de IA es desplegable, incluso si su puntuación técnica bruta es sólida.

La historia también destaca un desafío de mercado. El rendimiento de los modelos es cada vez más específico de la tarea, mientras que los proveedores a menudo presentan resultados mediante pruebas propietarias. Los compradores necesitan suficiente detalle metodológico para reproducir o cuestionar esas afirmaciones. Un total de tokens destacado llama la atención, pero por sí solo no identifica el mejor modelo para una operación de seguridad concreta.

Qué observar a continuación

El seguimiento más importante es un informe completo de Aikido Security. Los lectores necesitarán la lista de modelos probados, las categorías de tareas, el conjunto de datos de evaluación, los criterios de puntuación y un desglose de cómo se asignaron los 11.7 mil millones de tokens.

También será importante ver si Aikido Security nombra un modelo ganador y publica resultados comparativos, ejemplos de errores o datos de costo por tarea. Una réplica independiente proporcionaría una base más sólida para juzgar la afirmación que el registro de fuente actual controlado por el proveedor.

Los equipos de seguridad deberían vigilar evidencias más allá de las clasificaciones de titulares: tasas de falsos positivos, validación de parches, rendimiento en código desconocido, seguridad en el uso de herramientas, latencia y el efecto de la revisión humana. Esas medidas tienen más probabilidades de predecir si un modelo de IA para ciberseguridad puede respaldar el trabajo en producción.

Perspectiva de Creati.ai

El experimento reportado por Aikido Security de 11.7 mil millones de tokens es noticia porque enmarca la selección de modelos como un problema de ingeniería y de costos operativos, no solo como un ejercicio de tabla de clasificación. Pero la evidencia disponible es demasiado limitada para sostener una conclusión sobre qué modelo es realmente el mejor.

La lección útil para los creadores de IA es metodológica: las pruebas a gran escala pueden revelar diferencias que las demostraciones breves pasan por alto, pero la escala por sí sola no hace creíble un benchmark. Hasta que el protocolo subyacente y los resultados estén disponibles, el informe se lee mejor como una señal de cuán exigente puede llegar a ser la evaluación de IA para ciberseguridad, y no como prueba de un ganador definitivo del mercado.