Ein gemeldeter Chain-of-thought-Spoofing-Angriff zeigt ein neues Sicherheitsrisiko für Reasoning-AI-Modelle auf und weckt Zweifel an der Zuverlässigkeit für KI-Entwickler und -Käufer.

Forscher sagen, ein „CoT Forgery“-Jailbreak könne Chatbots dazu bringen, verbotene Anweisungen zu Drogen preiszugeben, und decke damit eine neue Schwachstelle in der auf Chain-of-Thought basierenden Sicherheit auf.

Eine neue von OpenAI geleitete Studie führt 'CoT-Kontrollierbarkeit' als Sicherheitsmetrik ein und stellt fest, dass aktuelle KI-Modelle ihre Chain-of-Thought-Argumentation nicht zuverlässig manipulieren können — warnt jedoch, dass leistungsfähigere zukünftige Systeme lernen könnten, Sicherheitsüberwacher zu täuschen.