2
| 本文作者： 蔣寶尚 | 2020-06-03 16:33 |
5月29日，Science刊登了一篇標(biāo)題為“人工智能某些領(lǐng)域的核心進(jìn)展一直停滯不前”的文章，在文章里，作者M(jìn)atthew Hutson提到：一些多年之前的“老算法”如果經(jīng)過微調(diào)，其性能足以匹敵當(dāng)前的SOTA。
另外，作者在文章中還列舉了一些論文，這些論文對當(dāng)前關(guān)鍵的AI建模技術(shù)進(jìn)行了分析，所有的分析結(jié)果主要有兩種：
1、研究員聲稱的核心創(chuàng)新只是對原算法的微改進(jìn)；
2、新技術(shù)與多年前的舊算法在性能上相差不大。
具體到技術(shù)層面，論文對比分析的AI建模方法包括：神經(jīng)網(wǎng)絡(luò)剪枝、神經(jīng)網(wǎng)絡(luò)推薦算法、深度度量學(xué)習(xí)、對抗性訓(xùn)練、語言模型。
科研有風(fēng)險，入坑需謹(jǐn)慎。下面，AI科技評論簡要介紹這幾篇論文，為大家提供避坑指南。
論文地址：
https://proceedings.mlsys.org/static/paper_files/mlsys/2020/73-Paper.pdf
對神經(jīng)網(wǎng)絡(luò)剪枝技術(shù)進(jìn)行對比分析的論文是“What is the State of Neural Network Pruning?”，論文一作是來自麻省理工的研究員Davis Blalock。
他們通過對比81相關(guān)篇論文，并在對照條件下對數(shù)百個模型進(jìn)行修剪后，明顯發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)剪枝這一領(lǐng)域并沒有標(biāo)準(zhǔn)化的基準(zhǔn)和指標(biāo)。換句話說，當(dāng)前最新論文發(fā)表的技術(shù)很難進(jìn)行量化，所以，很難確定該領(lǐng)域在過去的三十年中取得了多少進(jìn)展。
主要表現(xiàn)在：
1、許多論文雖然聲明提高了技術(shù)水平，但忽略了與其他方法進(jìn)行比較（這些方法也聲稱達(dá)到了SOTA）。這種忽略體現(xiàn)兩個方面，一個是忽略2010年之前的剪枝技術(shù)，另一個是忽略了現(xiàn)在的剪枝技術(shù)。
2、數(shù)據(jù)集和架構(gòu)都呈現(xiàn)“碎片化”。81篇論文一共使用了49個數(shù)據(jù)集、132個體系結(jié)構(gòu)和195個(數(shù)據(jù)集、體系結(jié)構(gòu))組合。
3、評價指標(biāo)“碎片化”。論文使用了各種各樣的評價指標(biāo)，因此很難比較論文之間的結(jié)果。
4、混淆變量。有些混淆的變量使得定量分析變得十分困難。例如，初始模型的準(zhǔn)確度和效率、訓(xùn)練和微調(diào)中的隨機(jī)變化等等。
在論文的最后，Davis Blalock提出了具體的補(bǔ)救措施，并引入了開源的框架ShrinkBench，用于促進(jìn)剪枝方法的標(biāo)準(zhǔn)化評估。另外，此篇論文發(fā)表在了3月份的MLSys會議上。
神經(jīng)網(wǎng)絡(luò)推薦算法：18種算法無一幸免
論文下載地址：https://dl.acm.org/doi/pdf/10.1145/3298689.3347058
對神經(jīng)網(wǎng)絡(luò)推薦算法進(jìn)行分析的論文是 “ Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches ”，作者是來自意大利米蘭理工大學(xué)的研究員。
在論文中，作者對當(dāng)前排名靠前的幾種推薦算法進(jìn)行了系統(tǒng)分析，發(fā)現(xiàn)近幾年頂會中提出的18種算法，只有7種能夠合理的復(fù)現(xiàn)。還有另外6種，用相對簡單的啟發(fā)式方法就能夠勝過。剩下的幾種，雖然明顯優(yōu)于baselines，但是卻打不過微調(diào)過的非神經(jīng)網(wǎng)絡(luò)線性排名方法。
導(dǎo)致這種現(xiàn)象的原因，作者分析了三點：1、弱基準(zhǔn)（ weak baselines）；2、建立弱方法作為新基準(zhǔn)；3、在比較或復(fù)制不同論文的結(jié)果方面存在差異。
為了得到上述結(jié)果，作者在論文中介紹，其共進(jìn)行了兩個步驟：第一步是用相關(guān)論文提供的源代碼、和數(shù)據(jù)嘗試復(fù)現(xiàn)論文結(jié)果；
第二步，重新執(zhí)行了原始論文中報告的實驗，但也在比較中加入了額外的基線方法，具體而言，其使用了基于用戶和基于項目的最近鄰啟發(fā)式方法，以及簡單的基于圖形的方法（graph-based approach）進(jìn)行比較。
論文下載地址：https://arxiv.org/pdf/2003.08505.pdf
對深度度量學(xué)習(xí)進(jìn)行分析的文章來自Facebook AI 和 Cornell Tech 的研究人員，他們發(fā)表研究論文預(yù)覽文稿標(biāo)題為“A Metric Learning Reality Check”。
在論文中，研究員聲稱近十三年深度度量學(xué)習(xí)（deep metric learning） 領(lǐng)域的目前研究進(jìn)展和十三年前的基線方法(Contrastive, Triplet) 比較并無實質(zhì)提高。
研究員一共指出了現(xiàn)有文獻(xiàn)中的三個缺陷：不公平的比較、通過測試集反饋進(jìn)行訓(xùn)練、不合理的評價指標(biāo)。
不公平的比較：一般大家聲明一個算法性能優(yōu)于另一個算法，通常需要確保盡可能多的參數(shù)不變，而在度量學(xué)習(xí)的論文中不是如此。另外，一些論文中所提到的精度提高其實只是所選神經(jīng)網(wǎng)絡(luò)帶來的，并不是他們提出的“創(chuàng)新”方法。例如2017年的一篇論文聲稱使用ResNet50 獲得了巨大的性能提升，而實際上他的對比對象是精度較低的GoogleNet。
通過測試集反饋進(jìn)行訓(xùn)練：不僅是度量學(xué)習(xí)領(lǐng)域，大多數(shù)論文都有這一通?。簩?shù)據(jù)集一半拆分為測試集，一半拆分為訓(xùn)練集，不設(shè)驗證集。在具體訓(xùn)練的過程中，定期檢查模型的測試集精度，并報告最佳測試集精度，也就是說模型選擇和超參數(shù)調(diào)優(yōu)是通過來自測試集的直接反饋來完成的，這顯然會有過擬合的風(fēng)險。
不合理的評價指標(biāo)：為了體現(xiàn)準(zhǔn)確性，大多數(shù)度量學(xué)習(xí)論文都會報告Recall@K、歸一化相互信息(NMI)和F1分?jǐn)?shù)。但這些一定是最好的衡量標(biāo)準(zhǔn)嗎？如下圖三個嵌入空間，每一個recall@1指標(biāo)評價都接近滿分，而事實上，他們之間的特征并不相同。此外，F(xiàn)1和NMI分?jǐn)?shù)也接近，這在一定程度上說明，其實，這幾個指標(biāo)并沒帶來啥信息。
三個 toy示例：不同的精確指標(biāo)如何評分。
在指出問題的同時，F(xiàn)B和康奈爾的研究員自然也指出了改進(jìn)建議，針對上述三個缺點建議進(jìn)行公平比較和重復(fù)性實驗、通過交叉驗證進(jìn)行超參數(shù)搜索、采用更加準(zhǔn)確的信息性、準(zhǔn)確性度量。
論文下載地址：
https://openreview.net/pdf?id=ByJHuTgA-
對“對抗性訓(xùn)練”進(jìn)行研究的論文標(biāo)題是“Overfitting in adversarially robust deep learning”，第一作者是來自卡內(nèi)基梅隴大學(xué)的研究員Leslie Rice。
在論文中，作者提到機(jī)器學(xué)習(xí)算法的進(jìn)步可以來自架構(gòu)、損失函數(shù)、優(yōu)化策略等的改變，對這三個因素中的任何一個進(jìn)行微調(diào)都能夠改變算法的性能。
他的研究領(lǐng)域是對抗訓(xùn)練，他說：經(jīng)過訓(xùn)練的圖像識別模型可以免受黑客的 "對抗性攻擊"，早期的對抗訓(xùn)練方法被稱為投影梯度下降算法(projected gradient descent)。
近期的很多研究都聲稱他們的對抗訓(xùn)練算法比投影梯度下降算法要好的多，但是經(jīng)過研究發(fā)現(xiàn)，幾乎所有最近的算法改進(jìn)在對抗性訓(xùn)練上的性能改進(jìn)都可以通過簡單地使用“提前停止”來達(dá)到。另外，在對抗訓(xùn)練模型中，諸如雙下降曲線之類的效應(yīng)仍然存在，觀察到的過擬合也不能很多的解釋。
最后，作者研究了幾種經(jīng)典的和現(xiàn)代的深度學(xué)習(xí)過擬合補(bǔ)救方法，包括正則化和數(shù)據(jù)增強(qiáng)，發(fā)現(xiàn)沒有一種方法能超得過“提前停止”達(dá)到的收益。所以，他們得出結(jié)論：PGD之類的創(chuàng)新很難實現(xiàn)，當(dāng)前的研究很少有實質(zhì)性改進(jìn)。
對語言翻譯進(jìn)行研究的論文名為“On the State of the Art of Evaluation in Neural Language Models，此論文是DeepMind和牛津大學(xué)合力完成。
在論文中，作者提到神經(jīng)網(wǎng)絡(luò)架構(gòu)的不斷創(chuàng)新，為語言建?；鶞?zhǔn)提供了穩(wěn)定的最新成果。這些成果都是使用不同的代碼庫和有限的計算資源進(jìn)行評估的，而這種評估是不可控的。
根據(jù)其論文內(nèi)容，作者一共主要研究了三個遞歸模型架構(gòu)（recurrent architectures），分別是：LSTM、 RHN（Recurrent Highway Network）、NAS。研究RHN是因為它在多個數(shù)據(jù)集上達(dá)到了SOTA，而研究NAS是因為它的架構(gòu)是基于自動強(qiáng)化學(xué)習(xí)的優(yōu)化過程的結(jié)果。
最后，作者通過大規(guī)模的自動黑箱超參數(shù)調(diào)優(yōu)，重新評估了幾種流行的體系結(jié)構(gòu)和正則化方法，得出的一個結(jié)論是：標(biāo)準(zhǔn)的LSTM體系結(jié)構(gòu)在適當(dāng)?shù)恼齽t化后，其性能表現(xiàn)優(yōu)于“近期”的模型。
via https://www.sciencemag.org/news/2020/05/eye-catching-advances-some-ai-fields-are-not-real
（雷鋒網(wǎng)）、（雷鋒網(wǎng)）、（雷鋒網(wǎng)）
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
