Un nuevo benchmark de Tencent Hunyuan y la Universidad de Tsinghua sostiene que los agentes de búsqueda de IA actuales no están limitados principalmente por la calidad de la recuperación ni por el uso de herramientas. El mayor punto de fallo, según los resultados reportados por los investigadores, es que los modelos a menudo no se detienen a hacer una pregunta de aclaración cuando la solicitud de un usuario es vaga, insuficientemente especificada o incorrecta.

Eso importa porque el sector avanza rápidamente para empaquetar grandes modelos como asistentes de investigación, agentes de navegador y motores de respuesta. Si el benchmark se mantiene, sugiere un problema de diseño práctico para los equipos que construyen productos de búsqueda con IA: más búsquedas y cadenas de razonamiento más largas no necesariamente mejoran los resultados cuando el sistema nunca confirma lo que el usuario quiso decir realmente. En algunos casos, dicen los investigadores, buscar repetidamente rinde peor que simplemente hacer una suposición.

Qué intenta medir DiscoBench

El nuevo benchmark, llamado DiscoBench, está diseñado para comprobar si un modelo puede detectar la ambigüedad durante la búsqueda de información en múltiples pasos, hacer al usuario una pregunta de seguimiento útil y luego retomar la ruta de investigación correcta. Según describe The Decoder, el conjunto de datos incluye 211 tareas con 463 puntos ambiguos repartidos en once dominios, incluidos deportes, cine, música, ciencia, política y videojuegos.

Los investigadores presentan esto como una laguna en la evaluación de agentes existente. Benchmarks como GAIA y BrowseComp, por lo general, asumen que la consulta del usuario ya está completa y es precisa. DiscoBench, en cambio, se centra en un escenario común de producción: un usuario pide algo que podría referirse a múltiples entidades, distintos periodos de tiempo, criterios de clasificación poco claros o incluso una premisa factual falsa. En ese contexto, un modelo puede ejecutar un flujo de búsqueda limpio y aun así tomar el camino equivocado desde la primera decisión.

Según la metodología reportada, cada tarea se divide en puntos de control en los que el agente puede seguir buscando, pedir aclaración o responder. El benchmark utiliza Tavily para la búsqueda y un simulador de usuario basado en Gemini 3 Flash que devuelve pistas predefinidas cuando el agente hace una pregunta de seguimiento útil. El conjunto de datos está mayoritariamente en chino, lo que los investigadores dicen que refleja patrones comunes en la web en lengua china.

Ese contexto lingüístico y de herramientas es importante para la interpretación. DiscoBench no es una medida universal de todas las tareas de búsqueda en todos los ecosistemas web, y el uso de un simulador basado en LLM significa que el bucle de interacción está estructurado en lugar de ser totalmente abierto. Aun así, el benchmark es notable porque aísla un comportamiento de producto con el que muchos sistemas de IA orientados al usuario luchan: saber cuándo no seguir adelante.

Los resultados reportados muestran una brecha de aclaración, no de búsqueda

El resultado principal es un rendimiento absoluto modesto. The Decoder informa que, entre once modelos lanzados recientemente, la mejor puntuación de extremo a extremo sin una pista explícita de ambigüedad fue 43.1 por ciento de Doubao Seed 2.0 Pro. Gemini 3.1 Pro Preview le siguió con 40.8 por ciento, y Claude Opus 4.7 con 39.8 por ciento.

Esas cifras son lo bastante bajas como para volver difícil ignorar la tesis general. Incluso los modelos punteros parecen tener problemas una vez que se introduce ambigüedad en una tarea de búsqueda encadenada. Los autores del benchmark sostienen que el problema principal no es que los modelos no puedan buscar, sino que asumen demasiado y preguntan demasiado poco.

El análisis de comportamiento citado por The Decoder es especialmente revelador. Los sistemas que buscaron y luego hicieron una pregunta de seguimiento habrían logrado una tasa de éxito del 93.4 por ciento. Los modelos que respondieron directamente alcanzaron el 56.5 por ciento. Los modelos que buscaron repetidamente pero aun así no preguntaron, etiquetados como “SearchHeavyGuess”, cayeron al 51.9 por ciento. En la interpretación de los investigadores, ese patrón sugiere que algunos modelos detectan de forma efectiva la incertidumbre, pero no la convierten en una interacción con el usuario.

Esto ayuda a explicar por qué un uso adicional de herramientas no se traduce automáticamente en mejores resultados. Un modelo puede realizar muchas búsquedas, inspeccionar muchas páginas y aun así permanecer anclado a la interpretación equivocada del prompt original. En términos prácticos, los desarrolladores no pueden tratar la profundidad de la búsqueda como un sustituto del comportamiento de aclaración.

Por qué el benchmark importa para los productos que ya se están lanzando

El momento importa porque la búsqueda con IA está pasando de las demostraciones a los flujos de trabajo comerciales. Los equipos están lanzando copilotos de investigación, asistentes de atención al cliente y productos de automatización del navegador que dependen cada vez más de la recuperación en múltiples pasos. Para esos sistemas, DiscoBench señala un modo de fallo que es fácil de pasar por alto en la evaluación convencional: el modelo parece activo y competente mientras persigue el objetivo equivocado.

Eso tiene implicaciones directas para las implementaciones empresariales de IA. En los sistemas de conocimiento interno, la ambigüedad aparece constantemente en nombres de proyectos, versiones de documentos, nombres de clientes, referencias a políticas y rangos de fechas. En los productos de búsqueda externos, el problema aparece en comparaciones, clasificaciones y desambiguación de marcas o entidades. Si un sistema trata cada prompt como si estuviera completo, puede producir un trabajo seguro pero irrelevante y, aun así, parecer muy receptivo.

Para los creadores de agentes de IA, el benchmark sugiere un cambio de diseño. La aclaración no debería tratarse como una vía de escape para la confusión obvia. Puede que necesite convertirse en una capacidad de primera clase, con umbrales explícitos, seguimiento de estado y una UX de producto que haga que pedir preguntas de seguimiento se sienta natural en lugar de obstructivo. Los datos citados por The Decoder también sugieren que los recordatorios a nivel de prompt pueden ayudar a detectar la ambigüedad, pero no lo suficiente como para corregir por sí solos la finalización de tareas de extremo a extremo.

Esa distinción importa para la planificación de producto. Mejores prompts del sistema pueden aumentar la frecuencia de las preguntas, pero un agente desplegado útil también necesita hacer la pregunta correcta en el momento adecuado y luego incorporar la respuesta al resto del flujo de trabajo. La detección, la formulación y el seguimiento parecen ser capacidades separadas.

Evidencia, advertencias y cuánto confiar en las afirmaciones

Las afirmaciones más sólidas aquí proceden de un estudio de benchmark descrito por The Decoder, más que de una publicación revisada por pares incluida en el conjunto de fuentes. Eso no invalida los hallazgos, pero sí significa que los lectores deberían tratar las clasificaciones de rendimiento y las conclusiones de comportamiento como reportadas por los investigadores hasta que el artículo subyacente, los datos y los detalles de evaluación sean examinados de forma más amplia.

Varias limitaciones destacan a partir de la evidencia disponible. Primero, DiscoBench está escrito mayoritariamente en chino, por lo que los resultados pueden no trasladarse limpiamente al comportamiento de búsqueda en inglés o a los flujos de trabajo de documentos empresariales. Segundo, el benchmark depende de Tavily y de un usuario simulado construido con Gemini 3 Flash. Esa configuración es razonable para pruebas controladas, pero no es lo mismo que medir sistemas de producción completos con usuarios reales, diferentes pilas de búsqueda u orquestación personalizada.

Tercero, la lista de modelos y versiones se reporta tal como la presenta The Decoder, incluyendo Claude Opus 4.7, GPT 5.4, Gemini 3.1 Pro Preview, DeepSeek V4 Pro, GLM 5.1, Qwen3.6 Max, Kimi K2.6, MiniMax M2.7, MiMo v2.5 Pro, Hunyuan 3.0 Preview y Doubao Seed 2.0 Pro. Algunas de esas convenciones de nombres pueden reflejar el etiquetado interno o regional de los autores del benchmark, y el material de origen no ofrece una contabilidad completa al estilo de una ficha de modelo sobre las decisiones de configuración.

Aun así, algunos patrones parecen robustos incluso con esas advertencias. Los autores informan que, sin acceso a búsqueda, el rendimiento se desploma, lo que apoya la idea de que las tareas requieren recuperación en vivo y no conocimiento memorizado. También informan que, cuando se elimina la ambigüedad de las consultas, la precisión aumenta entre 26.8 y 40.2 puntos, según el modelo. Si se replica, eso es una señal fuerte de que el manejo de la ambigüedad en sí es el cuello de botella.

El artículo también sitúa a DiscoBench dentro de una línea más amplia de críticas sobre la fiabilidad de la búsqueda con IA. The Decoder cita LiveBrowseComp como evidencia de que los modelos pueden depender en exceso del conocimiento previo y cita Halluhard para problemas de alucinación en la verificación de fuentes. Esos son estudios adyacentes, no validaciones directas de DiscoBench, pero refuerzan la idea de que la competencia de navegación sigue siendo frágil.

Señales competitivas para Anthropic, Perplexity y los creadores de agentes de búsqueda

Los hallazgos llegan mientras los proveedores impulsan distintos enfoques de investigación asistida por IA. Anthropic ha dicho que Claude Opus 4.8 está ajustado para señalar la incertidumbre con más frecuencia, según el resumen de la actualización hecho por The Decoder. Si esa afirmación se sostiene en pruebas independientes, encajaría estrechamente con la debilidad que DiscoBench intenta exponer.

Perplexity, por su parte, ha estado explorando Search as Code, un enfoque que permite a los modelos expresar flujos de búsqueda como programas en Python en lugar de depender solo de patrones preconstruidos de API de búsqueda. Eso puede ayudar con la planificación y la verificación, pero DiscoBench sugiere que sigue sin resolverse una pregunta aparte: ¿puede el sistema reconocer cuándo la información que falta no está en la web en absoluto, sino todavía en la cabeza del usuario?

Para los equipos que evalúan agentes de IA, esto crea una lista de compras más matizada. Comparar puntuaciones de benchmark en tareas con mucha búsqueda ya no es suficiente. Los compradores pueden necesitar probar si un producto puede pausar, identificar el tipo de ambigüedad, hacer una pregunta de aclaración concisa y reanudar la tarea sin reiniciar el contexto. En dominios regulados o de alto riesgo, esa capacidad puede ser más importante que la velocidad bruta de recuperación.

Qué observar a continuación

La próxima señal a vigilar es si Tencent Hunyuan y la Universidad de Tsinghua publican documentación más amplia, código o ejemplos públicos de DiscoBench. La replicación independiente será importante, especialmente en tareas en inglés y con estudios con usuarios reales.

También valdrá la pena observar si los proveedores de modelos empiezan a informar métricas de aclaración junto con los benchmarks de recuperación y razonamiento. Un estándar útil podría incluir detección de ambigüedad, calidad de la pregunta, tasa de recuperación tras la aclaración y modos de fallo por dominio.

En el lado del producto, conviene fijarse en cambios en las interfaces de los agentes de IA. Si los proveedores empiezan a hacer que la aclaración sea una parte visible e intencional de la experiencia del usuario, en lugar de una interrupción ocasional, eso sugeriría que el mercado se está tomando en serio esta categoría de fallo.

Por último, habrá que estar atentos a si sistemas como Claude Opus 4.8, Gemini 3.1 Pro o GPT 5.4 muestran mejoras medibles en tareas con mucha ambigüedad en pruebas independientes. La ventaja competitiva en la búsqueda con IA puede venir cada vez más de la contención y el diálogo, no solo de más herramientas.

Perspectiva de Creati.ai

DiscoBench es un recordatorio útil de que muchos fallos de producto en IA comienzan antes de la recuperación, no después. Los equipos suelen optimizar conectores de búsqueda mejores, ventanas de contexto más grandes y bucles de agentes más elaborados. Pero si el modelo acepta un encargo ambiguo y actúa sobre él, toda la pila puede producir una irrelevancia pulida.

Para los desarrolladores, la conclusión práctica es simple: traten la aclaración como infraestructura central. Los sistemas ganadores en la búsqueda con IA pueden ser los que saben cuándo detenerse, hacer una sola pregunta precisa y solo entonces continuar. Eso es menos llamativo que la navegación autónoma, pero para la IA empresarial y la confianza del usuario, probablemente sea la capacidad más importante.