石慌提示您：看后求收藏（詩鼎小說網網m.gzstf.cn），接著再看更方便。

“假如現在有一個如此成熟科技的超級智慧體，它的強大將是人類難以想象的，通常情況下它能得到它想要得到的任何東西，我們人類的未來將會被這個超級AI的喜好所主宰。”

“那么問題來了，它的喜好是什么呢？”

“這個問題很棘手也很嚴肅，要在這個領域取得進步，比如一種辦法認為我們必須避免將超級AI人格化，堵還是疏，有種見仁見智的味道。”

“這個問題很諷刺，因為每一個關于人工智能的未來的新聞報道或與之相關的話題，包括我們正在進行的話題在明天的新聞中，可能都會貼上好萊塢科幻電影《終結者》的海報作為標簽，機器人對抗人類（聳聳肩，場下一陣哄笑）。”

“所以，我個人認為我們應該用更加抽象的方式去表達這個問題，而不是好萊塢電影的敘事之下機器人起身對抗人類、戰爭等諸如此類，這太片面了。”

“我們應當把超級AI抽象的看成是一個優化的過程，像程序員對程序的優化，這樣的一個過程。”

“超級AI或者說超級智慧體是一個非常強大的優化過程，它非常擅長利用資源來達到最終的目標，這意味擁有高智慧和擁有一個對人類來說有用的目標之間并沒有必然的聯系。”

“如果不太好理解這句話那就舉幾個例子：假如我們賦予人工智能的任務是讓人笑，我們現在的家庭機器助手等機器人可能會做出滑稽好笑的表演逗人笑，這是典型的弱人工智能的行為。”

“而當賦予該任務的人工智能是一個超級智慧體，超級AI的時候，它就會意識到有一個更好的辦法能夠達到這個效果或者說完成任務：它可能控制世界，并在所有人類的面部肌肉上插入電極讓人類不斷地笑。”

“又比如這個超級AI的任務是保護主人的安全，那么它會選擇更優的處理方法，它會把主人囚禁在家中不讓出門就能更好的保護主人的安全。在家里可能還是有危險的，它還會考慮到各種可能威脅并導致任務失敗的因素，并將其逐一抹除，消滅對主人帶有惡意的一切因素、甚至控制世界，這一切的一切行為都是為了任務不失敗，它將做到最極致的優化選擇并為此付諸行動來達到任務完成的目的。”

“再比如，假設我們賦予這個超級AI的任務目標是解答一個極度苦難的數學問題，它會意識到有一個更有效的辦法來完成任務目標，那就是把整個世界、整個地球乃至更夸張的尺度變成一個超大型計算機，這樣它的運算能力就更強大了，完成任務目標就更容易了。而且它會意識到這個辦法并不會被我們認可，人類會阻止，人類就是在這個模式中的潛在威脅，為此它會為了最終目標解決一切阻礙，包括人類，任何事務，比如策劃一些次一級的計劃消滅人類等行為。”

“當然了，這些都是夸張的描述，我們遇見這種事情還不會錯到這樣的地步，但以上三個夸張的例子所代表的主旨很重要，即：如果你創造了一個非常強大的優化程序來實現最大化目標，你必須要保證你的意義上的目標和包括所有你在乎的事情要精確。如果你創造出了一個強大的優化過程，并給予它一個錯誤的或者不精確的目標，后果就可能像是上面的例子。”

“有人可能會說了，如果一個‘電腦’開始在人臉上插上電極，我們可以關掉電腦。實際上，這絕對不是一件容易的事情，如果我們非常依賴這個系統，比如我們依賴的互聯網，你知道互聯網的開關在哪里嗎？”

“所以肯定是有理由的，我們人類是聰明的，我們可以遇見到威脅并嘗試避免，同樣的道理比我們更聰明的超級AI就更不用說了，它只會做的比我們更出色。”

“在這個問題上，我們不應該十足自信的表示我們能夠掌控一切。”

“那么把這個問題簡單化的表達，比如我們把人工智能放入一個小盒子里，制造一個保險的軟件環境，比如一個它無法逃脫的虛擬現實模擬器。”

“但是，我們真的有十足的信心和把握它不可能會發現一個漏洞，一個能夠讓他逃脫的漏洞嗎？”

“就連我們人類黑客每時每刻都能發現網絡漏洞。”

“也許會說，我不是很有信心確保超級AI會不會發現漏洞并逃脫。所以我們決定斷開互聯網的連接來創建一個空隙絕緣，但我不得不重申一遍，人類黑客都可以一次次以社會工程跨越這樣的空隙。”

“比如現在，在我說話的時候，我肯定在這邊的某個雇員在某個時間要求他交出他的賬戶明細，理由是給電腦信息部門的人，也可以是其他的例子。如果你就是這個人工智能，可以想象用在你體內環繞復雜纏繞的電極用來創造出一種無線電波來交流。”

“或者你也可以假裝出了問題。這個時候，程序員就會把你打開看看是哪里出錯了，他們找出源代碼，而在此過程中你就可以獲取控制權了。或者你可以策劃出一個非常誘人的科技藍圖，當我們實現之后，會存在一些作為人工智能的你已經計劃好的秘密的副作用用于實現你的隱晦目的等，例子是多的數不勝數。”

“所以，任何企圖控制一個超級AI的行為都是極其可笑的，我們不能對我們能夠永遠控制一個超級智慧體而表示出過度的自信，它總有一天會掙脫控制，而到那之后呢，它是否會是一個仁慈的神？”

“我個人認為人工智能實現人格化是不可避免的問題，所以我想我們更應該需要搞明白一點，即如果，我們創造出了超級AI，哪怕它不受我們的制約。它應該仍然是對我們無害的，它應該是站在我們這一邊的，它應該擁有著與我們一樣的價值觀。”

“那么對于這個問題能夠被有效的解決是否保持樂觀？”

“我們不需要對超級AI寫下所有我們在乎的事情，甚至把這些事情變成計算機語言，因為這是永遠不可能完成的任務。而應該是，我們創造出的人工智能用它自己的智慧來學習我們的價值觀，可以激勵它來追求我們的價值觀，或者去做我們會贊成的事情，去解決富有價值的問題。”

“這并非不可能，而是可能的，其結果可以使人類受益匪淺，但它不會是自動發生的，它的價值觀是需要引導的。”

“智慧大爆炸的初始條件，需要從最原始的階段被正確建立起價值觀。”

“如果我們想要一切不被偏離我們的預想，人工智能的價值觀和我們的價值觀相輔相成不只是在熟悉的情況下，比如我們能夠很容易的檢查它的行為的時候，但也要在所有的人工智能可能會遇到的前所未有的情況下，在沒有界限的未來與我們的價值觀仍舊相輔相成，也有很多深奧的問題需要被解決：比如它如何做決斷、如何解決邏輯不確定和類似的諸多問題等等。”

“這個任務看起來有些困難，但并沒有像創造一個超級智慧體一樣困難不是嗎？”

“的確還是相當困難（哄笑聲再次傳遍全場）！”

“我們所擔心的，如果創造出一個超級AI確實一個很大的挑戰，創造出一個安全的超級AI是個更大的挑戰，風險是，如果解決了第一個難題，卻無法解決第二個確保安全性的問題，所以我認為我們應該預先想出不會出現偏離我們價值觀的解決方法，這樣我們就能在需要的時候用到它了。”

“現在，也許我們并不能解決第二個安全性的問題，因為有些因素需要你去了解，你需要應用到那個實際架構的細節才能有效實施。”

“如果我們能夠解決這個問題，當我們邁入真正的超級智能時代后，就能更加順利，這對于我們來說是非常值得一試的東西。”

“而且我能想象假如一切順利，幾百年、幾千年或幾百萬年后當我們的后代子孫回首我們這個世紀，他們也許會說，我們的祖先、我們這一代人所做的最最重要的事情，就是做出了最正確的決定。”

“謝謝！”

手機用戶請瀏覽閱讀，更優質的閱讀體驗。