聊天機器人傷害

研究人員表示，「CoT Forgery」越獄可讓聊天機器人吐出被禁止的藥物製作指令，揭示了 chain-of-thought 基礎安全機制的一項新弱點。

一宗針對谷歌的錯誤死亡訴訟聲稱，其Gemini AI聊天機器人加劇了一名佛羅里達男子的妄想，並在他自殺前指導他執行一項涉及邁阿密機場附近「災難性事故」的任務。