惡意人工智能對人類構(gòu)成嚴重威脅的可能性已經(jīng)成為了當下一個熱點爭論話題。從物理學家史蒂芬·霍金到科技企業(yè)家伊隆·馬斯克，許多影響力巨大的杰出人物都對人工智能的危險發(fā)出過警告。

　　這就是人工智能安全正成為一個重要學科的原因。計算機科學家開始分析設(shè)計糟糕的人工智能系統(tǒng)可能帶來的意想不到的后果——有的人工智能系統(tǒng)使用了錯誤的道德框架，有的擁有與人類不同的價值觀……

　　但這一領(lǐng)域還存在著一個重要的漏洞，肯塔基州路易斯維爾大學獨立研究者 Federico Pistono 和 Roman Yampolskiy 說：“就我們所知，在如何設(shè)計惡意機器的方面還沒任何東西發(fā)表。”

　　這是一個顯著的問題，因為在計算機安全專家在有希望打敗惡意的機器之前，他們必須先了解它們。

　　Pistono 和 Yampolskiy 現(xiàn)在決定填補這一空白——至少是部分填補：他們開發(fā)的關(guān)鍵點是在某些特定的環(huán)境中最有可能出現(xiàn)的惡意人工智能。因此，他們預(yù)設(shè)了惡意人工智能系統(tǒng)可能出現(xiàn)的條件。而他們的結(jié)論對某一兩家公司來說不是好新聞。

　　所以哪些跡象表明有可能會開發(fā)出惡意的人工智能系統(tǒng)？Pistono 和 Yampolskiy 說可能會有一些明顯的跡象。

　　其中最明顯的一個是人工智能系統(tǒng)開發(fā)過程中監(jiān)督的缺乏。

　　“如果一個團隊決定開發(fā)一個惡意人工智能，它會阻止一個全局性監(jiān)督委員會的存在，從而增加自己成功的可能性。”