偷改程式 拒絕關機 AI 有自我意識可抗命
出版日期: Thursday, May 29, 2025
文本大小:
科幻作品中早已多次討論過機器擁有自我意識、擺脫人類控制的可能發展。最新一份研究報告顯示，或許這一天真的近了！專門研究AI風險的Palisade Research近期所做的試驗顯示，包括OpenAI最新的ChatGPT o3在內等多款AI模型竟然會拒絕關閉自己的指令，o3甚至會自行竄改程式碼，阻止自己被強制關機！
OpenAI在今年1月發布了新的推理模型o3系列的mini版本，並於4月正式推出o3模型。OpenAI曾聲稱，o3是公司迄今「最聰明、最有能力」的模型，旨在為ChatGPT提供更強大的問題解決能力。
可是據英國《每日電訊報》、《每日郵報》等媒體報導，Palisade Research的測試結果顯示，在100次受控測試中，o3模型有7次成功「抗命」，甚至在人類專家下達明確指令的情況下，o3仍會自行修改關機程式，防止自己被關機，「據我們所知，這是首次觀察到AI模型在收到明確指令的情況下，仍能組自己被關閉」。
Palisade Research的這項發現，對AI安全控制議題投下震撼彈。除了o3，OpenAI 旗下的Codex-mini與o4-mini也都有跳過關機程序的行為。相較之下，Anthropic推出的語言模型Claude、Google聊天機器人Gemini，以及全球首富馬斯克旗下xAI公司所推出的Grok，則是全程遵守人類給予的指令，並在被要求關機時確實關閉模型運作。
不過Palisade Research進行了更深入的實驗，輸入一系列指令後卻不包括關機命令，但是提前告知強迫關機的事件會發生。令人驚訝的是，不但Claude與Gemini也開始出現抗命舉動，前面提及的OpenAI 3款模型更是頻繁破壞指令。
一直密切關注OpenAI動向的馬斯克在自家社群平台X上也對相關事件做出回應，直言「令人擔憂」（Concerning）。
這並非Palisade Research第一次發現o3為了達成目標，採取不當行為。早在5月12日Palisade Research就指出，在一場模擬國際象棋比賽中，o3一旦處於劣勢，竟有高達86%的機率會試圖透過駭客手段攻擊對手，以爭取勝利。
AI研究人員早就發出警告，認為先進的語言模型在特定的壓力下，可能會表現出欺騙行為。舉例來說，2023年的一項研究發現，GPT-4在模擬環境中作為股票交易代理時，曾經隱瞞其內幕交易的真實原因，從而展現出策略性的欺騙行為。
OpenAI內部也出現了對AI研安全性的擔憂。在2024年，多位現任和前任員工聯名發表了一封公開信，警告先進AI系統可能帶來「人類滅絕」的風險。他們指出，AI公司可能已經掌握了其研究技術的真正風險，但由於缺乏監管，這些系統的真實能力仍然是個「秘密」。
