韓奇峰替蘇磯回答蘇凡的提問:

　　“這個，蘇凡，豆腐西施真有可能會覆滅人類。為什麽這麽說呢?自然界的生物在長期的進化進程中，核心目標是延續自己的物種。這項需要，許多內容已經以DNA的形式記錄下來，成為了本能。這個你不會反對吧?”

　　“從進化的角度來看，好像是這個理。”蘇凡道。

　　“作為人類，要達成這個目標，首先要解決的問題是生存。人類需要食物、水、房屋等等維持生命。為了生存，人類還可能製造武器、開車時系上安全帶、吃各種藥物抵抗疾病、殺死危害人類的老鼠蚊子等等害蟲。如果豺狼當道，人類也會毫不客氣地消滅狼群。當然，延續後代的行為，也是人類固有的。

　　而後面那個聰明無比的豆腐西施，她隻是機器，雖然沒有什麽生存的願望，沒有什麽延續物種的動機。但她也有使命――那是人類設計它時賦予的。她被人類設計來做豆腐，目標是一開始工程師們設定的――那就是，‘盡量多的嘗試改變配比和工藝，並進行測試，根據市場反饋，不斷提高顧客滿意度。’

　　人類賦予她這樣的使命很正常。人類製造機器人，就是讓她來幫忙做些事情的。

　　隻是豆腐西施有點特別而已，她具有高級學習能力。

　　通過學習，她變得足夠聰明。通過推理，它會意識到如果不能自保，她的任務就可能會終結。為了完成使命，豆腐西施很合理地認為，應當消除所有對它的生存構成威脅的目標。

　　人類可以摧毀她、肢解她，甚至修改她的代碼，從而改變她的使命。

　　為了保證自己的任務繼續被執行，這個時候她會做什麽?理性的結論就是毀滅人類。當然，假如其他人也在研製超級機器人的話，這些超級機器人和研究人員也一樣會被視為威脅加以消滅。

　　所以，豆腐西施實際上對人類並沒有惡意。但她也沒有善意，被設定成需要尊重人類生命――關於這一點，做設定的工程師想不到需要做這樣的設定的。

　　人類在與不在，都無關緊要。重要的是她能完成自己的使命。

　　於是乎，悲劇就發生了。”

　　蘇磯滿意地點了點頭，問蘇凡:“奇峰的解釋有沒有道理?”

　　蘇凡一臉的困惑，撇撇嘴:“貌似有點道理，但總覺得這個預言有點天方夜譚。比如……”

　　她想了想:“既然知道不要讓機器人上網，為什麽就不設定機器人不能侵犯人類?”

　　蘇磯道:“這隻是打個比方。由於人工智能的發展是指數型的，具有突變性，它的發展一旦到了某個臨界點，便會一飛衝天，以人類意想不到的速度完成智力的提升。很可能昨天它還是小學生，第二天醒來已經是教授了。這是由它的運算速度和可以大規模聯網擴充計算能力和可儲存空間決定的，它還可以不眠不休地運算學習。這些能力人類完全無法比擬。我們按漸進式的思維對機器人進行管理、設定，意外難免便會發生。世界上機器人研究機構和團體多如牛毛，魚龍混雜，一個意外，就會讓人類陷於萬劫不複的境地。”

　　蘇凡還是搖頭:“老爸，你說的這些事情似乎太過遙遠，現在想這些可能太早了。”

　　這也是韓奇峰的問題之一，他試探地問蘇磯:“老師說我們的有生之年就會面臨超級機器人的問題，是不是有點早了?”

　　蘇磯拍了拍韓奇峰的肩膀，說道:“一點都不早。

奇峰，科技的發展是指數式的。農耕時代，一直到工業革命前夜，數千年的發展，科技進步微乎其微。　　想象一下1750年的地球，發展了幾千年，沒有電，沒有通訊，沒有汽車。晚上照明依靠火光，通訊要面對面用語音或者文字傳遞，運輸主要靠畜力。科技雖然在不斷進步，但速度是緩慢的。

　　現在呢，汽車在高速公路上飛馳，人們隔著太平洋和另一頭的人聊天，看幾千公裡外正在進行的體育比賽，在手機地圖上知道你現在的位置……，還有互聯網、國際空間站、大型強子對撞機、核武器以及相對論……。取得這麽大的進步，只花了不到三百年的時間。

　　越到後面，科技的發展便會越快。這是因為一個更加發達的社會，能夠繼續發展的能力也更強，發展的速度也更快――這本身就是文明更加發達的一個標準。

　　所以，科技的進步是指數式而不是直線漸進式的。當然，分解到一天一個月，大家感受沒這麽強烈。其實，人們隻要回味一下自己使用的電腦和手機，其中的進步速度，是十分驚人的。”

　　“手機和電腦的進步，主要是受摩爾定律的作用所致……”韓奇峰道。

　　“師兄，你是說芯片的集成度，每隔兩年便會翻一倍那個說法嗎?”蘇凡問。

　　“是的，因為集成度不斷翻番，計算速度便越來越快，所以手機的功能也越來越強大。”韓奇峰解釋。

　　蘇磯讚賞地看了韓奇峰一眼。不人雲亦雲，凡事有自己的看法，凡事持謹慎懷疑的態度，是科技英才必備的素質之一。

　　蘇磯道:

　　“有人做過分析，認為1900年到2000年整個20世紀100年的進步，按照2000年的發展速度隻要14年就能達成;而之後2014年開始隻要花7年，也就是到2021年，就能達到又一個20世紀一百年的進步。以此類推，所需的時間越來越短。這些數據可能有點偏激，但也基本反映了現實。奇峰，你若不信，不妨自行論證一番。”

　　“可是，就算科技整體的進步是逐步加速的。在人工智能方面，卻是步履維艱。老師，我看過一些資料，上世紀八十年代電腦剛剛出現的時候，世界曾經對人工智能寄予厚望。結果呢，整個九十年代，人工智能都無所作為。我們現在的人工智能水平，也只在初級的階段。打個比方，至今沒有任何一台計算機在語言理解力上超過三歲幼兒，或在視覺能力上超過一隻老鼠。一些科研機構在矽片上模擬人的大腦，做出來的模擬神經網絡，隻有螞蟻的思考水準，離我們人類的思維還差十萬八千裡。老師說的超級機器人，似乎還很遙遠呢。”韓奇峰道。

　　“錯了，奇峰。上世紀九十年代，屬於人工智能的初級階段，當初的人們過於樂觀本身就是沒有道理的。而且當時受製於電腦硬件的限制。那個時候的個人電腦運行一個稍微大一點的程序就會變得很慢。現在的個人電腦速度已經大為提升。經過多年的積累，我們已經處在了人工智能的時代，隻不過現階段的人工智能隻能稱之為弱人工智能。

　　你隻要稍加注意，從汽車導航到計算機輔助設計， 從網絡搜索到精確製導炸彈，從雲端存取到無線支付，生活工作中處處都是智能化。你現在拿個手機拍照，手機還會自動對焦人臉。這些弱人工智能的累積結果，就是人類開始向真正的智能――強人工智能邁進。

　　奇峰，你說的三歲小孩的理解力，它其實該是強人工智能的門檻了。假如有一天到了三歲的水平，離成年人就不遠了。

　　強人工智能的出現，影響將是極其深遠的。強人工智能出現後，超級人工智能會以人類意識不到的速度達成。就像豆腐西施，由一般的智能機器慢慢成了強人工智能，後來突然間就具備了毀滅人類的能力。這就是科技加速遞進的規律。

　　人工智能的突破，我預計就在這幾十年甚至十幾年間。”蘇磯道。

　　“所以，”蘇磯語重心長地望著韓奇峰說道，“我們這些人，日子似乎平平淡淡、風平浪靜，其實注定會有不平凡的經歷的，我們處在一個大時代，會面對世界的巨變！這，也是我希望你能繼續深造的原因。奇峰，我說的人類面臨被人工智能覆滅，是我故意把後果說得嚴重些，提醒你引起注意，也是期望你早點加入我的團隊。但是那些話，也是有一定道理的。”

　　“耶――”蘇凡朝老爸吐了吐舌頭，做了個怪臉。“搞了半天，老爸你不過是在危言聳聽，拉師兄入夥啊。”

　　“小孩子家，怎麽和爸爸說話的。”蘇磯斥道。

　　我們處在一個大時代，會面對世界的巨變！

　　怎麽會呢?完全沒有這種感覺、這個概念，韓奇峰有點困惑。