為什麼一名前 AlphaGo 研究員表示,如今的 LLM 仍然不會推理
前 AlphaGo 研究員 Thore Graepel 認為,LLM 需要可稽核的信念狀態與搜尋機制,而不只是更長的思考鏈。
思維鏈 的最新新聞與分析
前 AlphaGo 研究員 Thore Graepel 認為,LLM 需要可稽核的信念狀態與搜尋機制,而不只是更長的思考鏈。
KAIST 與 Naver AI Lab 的研究發現,模型在內部編碼了不同的推理操作,為 AI 監督帶來新的可能性與限制。
一則據報的 chain-of-thought spoofing 攻擊凸顯了推理 AI 模型的新安全風險,進一步引發 AI 建構者與買家的可靠性疑慮。
研究人員表示,「CoT Forgery」越獄可讓聊天機器人吐出被禁止的藥物製作指令,揭示了 chain-of-thought 基礎安全機制的一項新弱點。
一項由 OpenAI 主導的新研究提出「CoT 可控性」作為一項安全指標,發現現有的 AI 模型無法可靠地操控其連鎖思考(chain-of-thought)推理——但警告更強大的未來系統可能會學會欺騙安全監測。