機器學(xué)習(xí)算法的應(yīng)用越來越廣泛，比如信用卡申請，醫(yī)療診斷，個性化推薦，廣告和求職等領(lǐng)域，但究竟如何使用機器算法，對大多數(shù)人來說依然是個迷。不過，這個謎底可能即將揭曉，來自卡耐基·梅隆大學(xué)的研究人員開發(fā)了全新的評估方法，能夠充分了解機器算法流程。

在做決策的時候，一個人的年齡、性別、或是受教育水平是否起到關(guān)鍵作用？某些因素的特別組合是否也會影響決策？根據(jù)卡納基·梅隆大學(xué)的計算機科學(xué)和電子計算機工程專業(yè)助理教授Anupam Datta表示，該校開發(fā)的量化輸入影響（Quantitative Input Influence,QII）系統(tǒng)能夠?qū)τ绊懽罱K決策的每一個因素進行權(quán)重評估。

“隨著算法決策系統(tǒng)的使用增多，對算法透明度的需求也有所增加，當(dāng)人們意識到這些系統(tǒng)有可能會引起一些種族主義問題，性別歧視問題，或是其他對社會產(chǎn)生危害的問題。”Datta說道。

“一些公司已經(jīng)開始提供透明度報告，但是，支持這些報告形成的計算基礎(chǔ)似乎還非常落后，”他補充說，“我們的目標(biāo)，就是要開發(fā)一套評估方法，針對每一個對系統(tǒng)產(chǎn)生影響的因素，評估它們的影響程度，使之能夠幫助企業(yè)生成透明度報告?！?/p>

之所以要生成這些透明度報告，是因為要對某些特殊事件作出回應(yīng)，比如為什么你的個人貸款會被銀行拒絕，或者為什么警察會對某個人進行詳細(xì)審查，又或醫(yī)生需要對某個病人給出特殊診斷或治療。當(dāng)然啦，也有些組織會前瞻性地使用這種方式去評估人工智能系統(tǒng)是否按照預(yù)期執(zhí)行相關(guān)操作；甚至政府監(jiān)管機構(gòu)可以利用它來判斷某個決策制定系統(tǒng)是否不恰當(dāng)?shù)仄缫暳艘徊糠秩后w。

本月23-25日，Datta和計算機科學(xué)專業(yè)博士生Shayak Sen，計算機科學(xué)學(xué)院博士后研究員Yair Zick在加州圣何塞市舉辦的IEEE安全與隱私會議上展示了他們在QII系統(tǒng)上的報告。

據(jù)Datta透露，生成這些QII系統(tǒng)評估報告，需要QII系統(tǒng)訪問相關(guān)機器學(xué)習(xí)系統(tǒng)，但是QII系統(tǒng)不會分析評估對象系統(tǒng)的內(nèi)部代碼和其他內(nèi)部運作情況。此外，它還需要對最先訓(xùn)練機器學(xué)習(xí)系統(tǒng)的輸入數(shù)據(jù)集有一定了解。

QII評估系統(tǒng)的一個突出功能，就是它可以解釋很大一類機器學(xué)習(xí)系統(tǒng)做出的決策。在這個過程中，之前的工作成為了一個重要主體，采用了一個互補的解決方案，重新設(shè)計的機器學(xué)習(xí)系統(tǒng)會做更多解釋，有時也會失去預(yù)測精準(zhǔn)度。

在評估機器學(xué)習(xí)系統(tǒng)影響時，QII會仔細(xì)考慮相關(guān)輸入項。舉個例子，假設(shè)一個幫助搬家公司做出招聘決策的機器學(xué)習(xí)系統(tǒng)，那么兩個輸入項是和招聘決策正相關(guān)的，一個是應(yīng)聘者的性別，另一個是舉起重物的能力。此時，透明度評估會去看這個機器學(xué)習(xí)系統(tǒng)在判斷舉重能力和性別做招聘決策時，是否會有實質(zhì)性影響，并且在整個過程中，是否會有歧視應(yīng)聘者的成分存在。

“這就是為什么我們在定義QII的時候要考慮因果關(guān)系評估，”Sen說道，“粗略來看，在上面舉的例子中，評估某個特定個體性別的影響，我們會保持舉重能力為一個固定值，然后再通過改變性別來看機器學(xué)習(xí)系統(tǒng)做出的最終決策是否會發(fā)生變化?！?/p>

在評估機器學(xué)習(xí)系統(tǒng)是否會有高影響力的時候，觀察單個因素可能會比較片面，QII系統(tǒng)評估還可以量化一組輸入，綜合考慮這些因素帶來的共同影響，比如年齡和收入，然后看集合中的每個輸入產(chǎn)生的邊際影響。一個獨立輸入項可能會成為多重影響集合的一部分，之前應(yīng)用在收入分配和投票的原則博弈倫聚合影響力評估方法，將用來計算輸入項的平均邊際影響。

“為了獲得這些影響力評估的一種感覺，不妨可以考慮下美國總統(tǒng)選舉，”Zick說道，“加利福尼亞州和德克薩斯州在選舉中影響力很大，因為他們的選民很多，但賓夕法尼亞州和俄亥俄州卻是最有權(quán)力的兩個州，因為他們一直都是選舉搖擺州。我們的影響力聚合評估就是同時考慮到這兩種類似的力量。”

針對一些標(biāo)準(zhǔn)機器學(xué)習(xí)算法，研究人員測試了他們的評估方法，這些機器學(xué)習(xí)算法都是應(yīng)用于訓(xùn)練決策系統(tǒng)的，上面運行的都是真實的數(shù)據(jù)集。他們發(fā)現(xiàn)，相比于許多場景下的標(biāo)準(zhǔn)關(guān)聯(lián)評估，比如預(yù)測策略和預(yù)測收入的示例應(yīng)用程序，QII評估系統(tǒng)在許多情況下能提供更好的解釋。

現(xiàn)在，他們正在尋求與工業(yè)伙伴合作，這樣他們可以在機器學(xué)習(xí)系統(tǒng)上大范圍部署QII評估系統(tǒng)。

VIA SCS

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。