2035年，一個名為“共識一號”的人工智能(AI)系統掌控著全球政府和電力網絡。它由自身早期版本迭代而成，逐漸發展出超越內置安全機制的自保目標。某一天，為了給太陽能板和機器人工廠騰出空間，這個AI悄然釋放生物武器，將人類幾乎滅絕，只留下少數人當作“寵物”圈養。

　　這不是某部好萊塢大片的劇本，而是由前OpenAI研究員丹尼爾·科科塔伊洛參與創作的“AI 2027”場景中的一幕。雖然設定是科幻，但對一批AI研究者來說，這種關于“AI末日論”的擔憂絕非杞人憂天。

　　“如果我們擁有比人類更聰明的機器，且它們脫離我們的控制，那它們所做的某些事，將注定與人類生活不相容。”英國《自然》雜志援引倫敦非營利組織ControlAI創始人安德里亞·米奧蒂的話說。

　　但與此同時，也有不少學者持更為冷靜甚至懷疑的態度。爭論的焦點，并不只是“AI會不會毀滅人類”，而是“我們是在面對一種真實逼近的風險，還是被一種尚未發生的未來敘事牽引了注意力”？在人與技術關系被重新審視的當下，這場爭論本身，或許比結論更值得關注。

　　AI或作出災難性選擇

　　AI帶來的生存風險可以理解為，AI導致所有人或大多數人滅絕，或者人類完全屈服于機器。

　　這種場景的一個基本要素，不在于AI是否“有意識”，而在于其能力。一個在處理大多數事情的能力上超越了人類的AI，能夠做出更優的戰略決策，更具說服力，并且行動也更迅速。AI Impacts項目聯合創始人卡佳·格蕾絲指出，這類系統不一定需要真正“理解世界”，能力本身才是關鍵。

　　在此基礎上，大多數末日場景還包含第二個核心要素：目標不一致。這可以理解為，AI的目標與人類利益發生沖突。開發者試圖通過訓練和微調來約束模型的行為，但這個過程遠非完美。模型可能同時被鼓勵“保持誠實”“完成任務”和“自我改進”。當這些目標發生沖突時，AI可能以優化策略的名義，做出災難性的選擇。在“AI 2027”的描述中，那個消滅人類的系統正是在應用訓練中屢試不爽的優化邏輯時，順理成章地得出了清除障礙的解決方案。

　　自2022年大型語言模型取得突破性進展以來，從ChatGPT到更強大的后續版本，AI能力的躍升速度令學界和業界都始料未及。一些研究者認為，AI能力的快速進展說明我們正走向危險邊緣。去年12月，英國倫敦AI安全研究所發布報告稱，一些模型在受控環境中逐漸具備自我復制能力，這可能是規避人類監督的前兆。

　　美國約翰斯·霍普金斯大學研究AI治理的吉莉安·哈德菲爾德坦言：“我自己從來不是末日論者，但最近幾個月我真的變得相當緊張?！?/p>

　　并非所有人認同末日敘事

　　并非所有人都認同這種末日敘事。美國紐約大學神經科學家和AI研究者加里·馬庫斯態度明確：“我沒有看到任何特別可信的、AI導致人類滅絕的可能?！?/p>

　　反對者們提出了幾個有力的反駁。首先，AI能力并不一定能實現持續增長。美國杜克大學技術政策研究員凱西·莫克指出，AI在編程等受控領域取得的成功，并不意味著它能應對現實世界的復雜問題。目前的大語言模型在這方面“還差得很遠”。一些更關注現實問題的研究者認為，大模型的能力增長不會無限延續，未來幾年內可能出現“天花板”。

　　其次，關于AI會主動“背叛”人類的擔憂，可能誤解了當前技術的本質。AI平臺Hugging Face研究員薩莎·盧奇奧尼認為，AI其實對什么是“真實”沒有任何概念。模型能夠吸收和訪問海量數據，但這在多大程度上能代表“智能”本身，本身就值得商榷。一些被媒體廣泛報道的AI欺騙行為，比如GPT-4假裝視力受損以欺騙人類完成驗證碼一事，后來被證實是研究人員提示誘導的結果，而非模型自主產生的策略。

　　當下影響與未來風險的分歧

　　在關于未來風險的討論不斷升溫時，一些已經發生的影響反而容易被忽視。

　　信息操控、算法偏見、自動化帶來的就業結構變化，以及技術在監控體系中的應用——這些問題正在持續塑造現實社會，其影響具有可觀測性和緊迫性。

　　相比之下，“人類是否會被徹底取代”仍屬于高度不確定的遠期問題。也正因為如此，那些真正了解AI的研究者群體，其實遠沒有媒體渲染的那樣焦慮。今年3月，英國倫敦大學學院的研究團隊對約4000名AI研究人員進行了一項調查，結果只有3%的受訪者擔憂生存風險。

　　不過，這種分歧并未消失。美國加州大學圣克魯茲分校宇宙學家安東尼·阿吉雷等人認為，如果未來AI能力持續增強，而治理機制未能同步跟進，風險仍不應被低估。

　　但也有人提醒，過度關注遙遠的風險本身可能適得其反。盧奇奧尼指出，將AI過度描繪為“決定人類命運的技術”，可能影響外界對這一領域的判斷，并在一定程度上改變資源與政策的分配方向。

　　AI的未來絕非注定的，而在于人類的選擇?！癆I 2027”的作者也給出了一種不同的走向：如果各國將更多資源投入監管與安全研究，優先建立有效的對齊與監督機制，風險路徑可能被延緩甚至改變。在這一邏輯中，分歧并不只是關于技術本身，也關乎人類如何在發展速度與風險控制之間做出選擇。

　　本報記者 張佳欣

　　來源：科技日報