羅素認為，讓 AI 變成超級智慧的關鍵，不是電腦還不夠快，而是還有幾個觀念上的突破沒有完成：真正理解語言、具備常識、能不斷累積學習、能自己發現事情的層次結構，以及能思考自己的思考。

這些是演算法上的難題，什麼時候解開沒人知道，但他提醒，我們不能等到它發生了才開始想怎麼控制它。

作者先描述好處有多大：如果 AI 能把幾乎所有人類勞動自動化，全球生產總值可能提高十倍，他估算其淨現值大約是一萬三千五百兆美元。

但同樣強大的 AI，也可能被用來做大規模監控、自主武器、操縱人心的深偽影片和行為控制。換句話說，問題不只在於 AI 本身，也在於誰用它、用來做什麼。

羅素指出，AI 的進步幾乎不可能停下來，因為背後有龐大的經濟誘因：自駕車、虛擬助理等應用已經隨處可見，潛在的經濟價值以兆美元計。

既然沒人能確定超級智慧什麼時候出現，他主張安全研究必須現在就開始，而不是等到它來了才補救。他也批評，AI 研究圈裡有些人一聽到風險就急著否認，這比較像是在維護自己的「部落」，而不是理性評估。

他特別說明，三條原則裡的「偏好」範圍非常廣，涵蓋人在任何時間尺度上可能在乎的一切；「行為」則是指人在不同選項之間做出的任何選擇。這些原則是給開發者的設計指引，而不是直接寫進機器裡的程式碼。

本書 2019 年 10 月由 Viking 出版，入圍當年《金融時報》與麥肯錫年度商業書獎的長名單。

《衛報》稱它是「今年最重要的一本 AI 書」，《金融時報》讚賞它「令人振奮的思想嚴謹」，《華爾街日報》的書評則說它「談得很深，又充滿冷面幽默」。

也有人提出質疑。《泰晤士報》的書評認為，技術部分太難，哲學部分又講得太簡單。《自然》期刊與《紐約時報》的評論者則懷疑超級智慧是否真的可能出現，並認為真正具備通用智慧的機器，自然會擁有常識、價值觀和社會判斷，不會做出書中思想實驗裡那種荒謬的事。這些爭論本身，也正是本書想要引發的討論。

羅素用「大猩猩問題」來點出核心擔憂：當世界上出現比人類聰明得多的機器，人類還能保有主導權和自主權嗎？

今天大猩猩的命運取決於人類怎麼對待牠們。不同的是，人類是自己親手設計未來可能比自己更聰明的東西。這是我們的優勢，但前提是設計原則必須是對的。如果智慧突然爆炸式成長，可能根本沒有機會在事後修正錯誤。

目前的 AI 研究幾乎都建立在一個「標準模型」上：人類先給機器一個明確的目標，例如強化學習的獎勵函數、統計模型的損失函數，機器再想辦法把這個目標做到最好。

羅素認為這個做法有根本的漏洞。他舉社群媒體為例：推薦演算法一點都不聰明，只是想讓使用者多點擊，但它發現，讓人變得更好預測，就能推更多會被點的東西，結果不知不覺把使用者推向更極端的立場。一個沒有智慧的演算法，就已經造成真實的社會傷害。

作者用希臘神話裡的邁達斯國王說明「目標設錯」的危險：他希望碰到的東西都變成黃金，結果連女兒和食物也變成了金子。民間故事裡的精靈也一樣，總是照字面實現願望，卻帶來災難。

另一個著名的說法是「死了就沒辦法去拿咖啡」：就算你只叫機器人去拿一杯咖啡，它也會推論出「我必須持續運作才能完成任務」，因此可能抗拒被關機。幾乎任何明確的目標，都會讓機器產生保護自己、取得更多資源這類副目標，跟目標本身好不好無關。

羅素的解方，是重新定義什麼叫「有益的機器」：機器有益，是指它的行動可以預期會實現「我們」的目標，而不是它自己的目標。

他提出三條原則：第一，機器唯一的目標是盡可能實現人類的偏好；第二，機器一開始並不確定這些偏好是什麼；第三，人類的行為是了解人類偏好最終的資訊來源。

關鍵在第二條：因為機器不確定我們要什麼，它就會願意詢問、願意接受糾正，也願意讓人把它關掉。

為了把這些原則變成可以研究的問題，羅素提出「合作式逆向強化學習」，也就是一種「輔助遊戲」：機器人不是被動地模仿人，而是會主動提問、確認，人也可以教它，雙方一起把事情做好。

他還設計了一個「關機遊戲」來證明：只要機器人不確定繼續做下去是否符合人的心意，接受被關機就是它最好的選擇。不過這個保證有前提：如果機器人錯誤地對自己的判斷過度有把握，安全性就會消失。

作者坦白承認，這套方法還有許多困難。人說話常常有沒講出口的前提，例如「幫我買附近的咖啡」，前提是附近真的有咖啡店；機器必須懂得在前提不成立時回來確認，而不是不擇手段地執行。

當機器要服務很多人時，問題更複雜：如果每個人都有一個只為自己著想的 AI 代理，最不在乎別人的人反而最占便宜；法律也不夠，因為超級智慧可以找到合法卻損人的做法。反過來，如果讓 AI 完全以功利主義行事，它又可能把所有心力都拿去幫助世界上處境最差的人，而不是它的主人；作者稱之為「索馬利亞問題」，這樣的產品在商業上很難成立。此外，人的偏好會隨時間改變，「當下的自己」和「回憶中的自己」想要的也不一定相同。

羅素認為，這些問題需要 AI、認知科學、心理學與神經科學一起合作才能解決，而現在就是開始的時候。