超級(jí)AI會(huì)造成災(zāi)難這話(huà)題吵翻了！12月ChatGPT、3月GPT-4，OpenAI連番轟炸，讓業(yè)界人士紛紛恐慌。緊接著3月底，由馬斯克、圖靈獎(jiǎng)得主Bengio等千名大佬聯(lián)名，發(fā)起暫停超級(jí)AI研發(fā)的公開(kāi)信。2個(gè)月后，又有數(shù)百位大佬簽署了一封聯(lián)名信，短短22字把AI類(lèi)比為了傳染病和核戰(zhàn)爭(zhēng)。

關(guān)于發(fā)起這封聯(lián)名信的機(jī)構(gòu)，是美國(guó)的一家人工智能安全中心（Center for AI Safety）。

近來(lái)，來(lái)自這個(gè)組織的研究人員，就災(zāi)難性AI風(fēng)險(xiǎn)做了一個(gè)總結(jié)性回顧。

論文地址：https://arxiv.org/pdf/2306.12001.pdf

論文中，作者介紹了災(zāi)難性人工智能風(fēng)險(xiǎn)的四個(gè)主要來(lái)源：

- 惡意使用

- 人工智能競(jìng)賽

- 組織風(fēng)險(xiǎn)

- 流氓人工智能

與此同時(shí)，研究人員還討論了這些風(fēng)險(xiǎn)可能采取的具體形式，并就如何減輕這些風(fēng)險(xiǎn)提供了實(shí)際的建議。

馬庫(kù)斯點(diǎn)評(píng)道，滅絕風(fēng)險(xiǎn)不等同于災(zāi)難性風(fēng)險(xiǎn)；這是一篇好文章，主要是關(guān)于后者。

接下來(lái)一起看看吧。

AI風(fēng)險(xiǎn)4大來(lái)源

惡意使用

個(gè)人和組織可以利用人工智能造成廣泛的傷害。威脅包括宣傳、審查、監(jiān)視和生物恐怖主義。

當(dāng)前，人工智能技術(shù)的快速發(fā)展增加了生物恐怖主義的風(fēng)險(xiǎn)。

擁有生物工程知識(shí)的AI可以促進(jìn)新型生物武器的創(chuàng)造，并降低獲得這些致命武器的障礙。

AI輔助生物武器設(shè)計(jì)的流行病構(gòu)成了獨(dú)特的挑戰(zhàn)，因?yàn)楣粽弑确烙呔哂袃?yōu)勢(shì)，并可能對(duì)人類(lèi)構(gòu)成生存威脅。

2022年3月，研究人員曾發(fā)現(xiàn)，人工智能在短短6個(gè)小時(shí)內(nèi)發(fā)明了4萬(wàn)種可能的新型化學(xué)武器。

如果AI能夠大規(guī)模生產(chǎn)這類(lèi)化學(xué)武器，又不受管控，那無(wú)疑是全人類(lèi)的災(zāi)難，所以研究人員立刻報(bào)告了技術(shù)濫用的潛在風(fēng)險(xiǎn)。

另外，AI智能體不斷涌現(xiàn)也是一大風(fēng)險(xiǎn)。當(dāng)前，AI智能體的發(fā)展已經(jīng)構(gòu)成獨(dú)特的威脅，人們可能構(gòu)建目標(biāo)危險(xiǎn)的人工智能。

GPT-4發(fā)布一個(gè)月后，開(kāi)發(fā)人員紛紛繞過(guò)人工智能安全過(guò)濾器，創(chuàng)造了自主的AI智能體，比如爆火的AutoGPT。

甚至，還有旨在摧毀人類(lèi)、建立全球統(tǒng)治地位，以及獲得永生的ChaosGPT。

幸運(yùn)地是，ChaosGPT并不十分聰明，缺乏制定長(zhǎng)期計(jì)劃、入侵計(jì)算機(jī)、生存和傳播的能力。

然而，考慮到人工智能發(fā)展的快速步伐，ChaosGPT的確讓許多人看到了更先進(jìn)的流氓人工智能在不久的將來(lái)可能帶來(lái)的風(fēng)險(xiǎn)。

社會(huì)故意散布虛假信息已經(jīng)是一個(gè)嚴(yán)重的問(wèn)題，削弱了我們對(duì)現(xiàn)實(shí)的共同理解和兩極分化的觀點(diǎn)。

人工智能可能被用來(lái)產(chǎn)生比以前更大規(guī)模的個(gè)性化虛假信息，從而嚴(yán)重加劇這個(gè)問(wèn)題。

此外，隨著人工智能更善于預(yù)測(cè)和推動(dòng)我們的行為，它們將更有能力操縱我們。

對(duì)于人工智能惡意使用，研究者建議限制獲得危險(xiǎn)的AI，優(yōu)先考慮生物安全，并為開(kāi)發(fā)者建立法律責(zé)任。

人工智能競(jìng)賽

人工智能的巨大潛力在全球競(jìng)爭(zhēng)者中造成了競(jìng)爭(zhēng)壓力，他們相互競(jìng)爭(zhēng)，以爭(zhēng)奪權(quán)力和影響力。

這種「人工智能競(jìng)賽」是由國(guó)家和公司驅(qū)動(dòng)的。他們認(rèn)為必須迅速建立和部署人工智能以確保自己的地位和生存。

通過(guò)競(jìng)相打造和部署人工智能，企業(yè)和軍隊(duì)可能會(huì)在安全方面偷工減料，并將決策權(quán)讓給人工智能，以追求競(jìng)爭(zhēng)優(yōu)勢(shì)。

由于未能正確地區(qū)分全球風(fēng)險(xiǎn)的輕重緩急，這種動(dòng)態(tài)使得人工智能的發(fā)展更有可能產(chǎn)生危險(xiǎn)的后果。

重要的是，這些風(fēng)險(xiǎn)不僅源于人工智能技術(shù)的內(nèi)在本質(zhì)，而且源于競(jìng)爭(zhēng)壓力。

研究者建議對(duì)通用的人工智能進(jìn)行安全監(jiān)管、國(guó)際協(xié)調(diào)和公共控制。

組織風(fēng)險(xiǎn)

這就像切爾諾貝利和三里島一樣，糟糕的組織安全可能導(dǎo)致災(zāi)難性的人工智能事故。為了減少這些風(fēng)險(xiǎn)，建立人工智能的組織應(yīng)該采用外部審計(jì)、軍事級(jí)別的信息安全和強(qiáng)大的安全文化。

即使在競(jìng)爭(zhēng)壓力較低的情況下，災(zāi)難也會(huì)發(fā)生。

即使在沒(méi)有競(jìng)爭(zhēng)壓力或惡意行為者的情況下，諸如人為錯(cuò)誤或不可預(yù)見(jiàn)的環(huán)境等因素仍然可能導(dǎo)致災(zāi)難。

「挑戰(zhàn)者號(hào)」航天飛機(jī)災(zāi)難表明，組織疏忽可能導(dǎo)致生命損失，即使在沒(méi)有迫切需要競(jìng)爭(zhēng)或勝過(guò)競(jìng)爭(zhēng)對(duì)手的情況下。

到1986年1月，美國(guó)外國(guó)之間的太空競(jìng)賽已大大減少，但由于判斷失誤和安全防范措施不足，悲劇事件仍然發(fā)生。

流氓人工智能

控制人工智能已經(jīng)很困難了。失去對(duì)高級(jí)人工智能的控制可能導(dǎo)致災(zāi)難。

最后，人工智能帶來(lái)的一個(gè)獨(dú)特的風(fēng)險(xiǎn)是流氓人工智能的可能性——這些系統(tǒng)追求的目標(biāo)違背了我們的利益。

如果一個(gè)人工智能系統(tǒng)比我們更聰明，如果我們不能引導(dǎo)它朝有利的方向發(fā)展，失去控制，可能會(huì)產(chǎn)生嚴(yán)重的后果。

本文中提到的4大人工智能危險(xiǎn)值得嚴(yán)重關(guān)注。

目前，很少有人致力于降低人工智能的風(fēng)險(xiǎn)。研究人員也不知道如何控制高度先進(jìn)的人工智能系統(tǒng)，現(xiàn)有的控制方法已經(jīng)被證明是不夠的。

人工智能的內(nèi)部工作原理還不是很清楚，即使是那些創(chuàng)造它們的人也不清楚，而且目前的人工智能絕不是高度可靠的。

隨著人工智能能力繼續(xù)以前所未有的速度增長(zhǎng)，它們可能很快在幾乎所有方面超越人類(lèi)智能，從而迫切需要管理潛在的風(fēng)險(xiǎn)。

本文作者：新智元