圖片來源：inteligencia

編者按：機器智能研究院（MIRI）的研究宗旨是，確保比人類更加智能的機器系統(tǒng)會帶來積極影響，研究領域包括：可靠的代理設計，如何設計可靠的AI系統(tǒng)執(zhí)行人類交給它的任務；價值學習，如何設計學習系統(tǒng)，讓系統(tǒng)能夠學會人類的價值觀；錯誤包容，如何設計配合人類操作員的系統(tǒng)，能夠包容程序員不可避免的錯誤。

MIRI的研究人員來自全球頂尖大學及企業(yè)，《人工智能：現(xiàn)代方法》的聯(lián)合作者Stuart Russel教授擔任其研究顧問。今年8月，Russel教授和谷歌DeepMind CEO Demis Hassabis都將參加雷鋒網在深圳舉辦的人工智能與機器人峰會。

谷歌DeepMind研究科學家Laurent Orseau和牛津大學研究副教授、機器智能研究院（MIRI）Stuart Armstrong博士共同發(fā)表了一篇新論文，探討包容錯誤的智能代理設計。論文《可安全干預的智能代理》將于本月底在紐約的第32屆“人工智能中的不確定性”大會上呈現(xiàn)。論文摘要如下：

“強化學習中的智能代理在與復雜環(huán)境（例如真實世界）互動時，不可能永遠都在最佳狀態(tài)上。如果代理在人類的監(jiān)督下進行實時操作，系統(tǒng)會時不時地需要人類來按下暫停鍵，防止代理持續(xù)進行一系列有害的行為——對代理或對環(huán)境有害的行為——并由人類來將代理帶往安全的環(huán)境。然而，如果學習中的代理期望從原本要執(zhí)行的行為中獲得獎勵，長此以往，它可能會學會避免此類的人類干預，例如，代理會讓暫停鍵失效——這是我們不想要的結果。

這篇論文探索了一種方法，可以確保代理不會學會如何避免（或尋求）環(huán)境或者人類操作員對其進行干預。我們提供了安全干預的定義，探索了無監(jiān)管下的學習特性，并證明有些代理已經可以安全地進行干預，例如Q-learning，或者可以簡單轉變?yōu)榭砂踩深A的代理，例如Sarsa。我們的結論是，即便是理想的、不可計算的強化學習代理，在總體可計算的（決定論的）環(huán)境中，也可以轉變?yōu)榭砂踩深A的代理。”

Orseau和Armstrong的論文為解決矯正問題帶來了一個新的視角?？沙C正的代理指的是，能夠識別到自身有缺陷、或者正在開發(fā)中的代理，并能幫助其操作員進行維護、改善或者自我替換，而不是抗拒這些操作。

在強人工智能系統(tǒng)中，矯正主要是為了在系統(tǒng)終極目標不正確的時候，避免不安全的收斂工具性政策（例如，保護其當前的目標系統(tǒng)未來不受修改影響的政策）。這讓我們能夠實施基于試錯和學習的恰當方法，來解決AI價值規(guī)范的問題。

干預是為了讓直覺性的矯正概念形式化。例如，“無關用途”是過往對另一種矯正的定義：系統(tǒng)不介意程序員修改其終極目標，因此能避免強迫程序員進行修改、或避免修改。而“可安全干預的代理”則試圖定義另一種系統(tǒng)，不介意程序員修改其政策，不會阻止程序員干預它們的日常行為（也不會強迫程序員去干預）。

這樣做的目標是，讓代理認為沒有未來干預時選擇最優(yōu)的政策。即便代理過去經歷過干預，也會好像未來不會有任何干預一樣行動。Orseau和Armstrong在論文中讓我們看到，若干類型的代理是可以安全干預的，或者可以簡單轉變?yōu)榭砂踩深A的代理。

點擊鏈接下載Orseau和Armstrong的論文全文。

VIA MIRI

 

雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。