雷鋒網(wǎng)【AI科技評(píng)論】按：為期3天的ICLR 2017深度學(xué)習(xí)頂會(huì)正在法國土倫召開，6場(chǎng)Invited Talk，15場(chǎng)Contributed Talk（oral paper）, 310個(gè)論文海報(bào)展示讓任何人置身其中的時(shí)候，都不免產(chǎn)生一種信息量巨大，怎么看也看不完的錯(cuò)覺，雷鋒網(wǎng)【AI科技評(píng)論】團(tuán)隊(duì)實(shí)地考察后，發(fā)現(xiàn)我們可以從現(xiàn)場(chǎng)的亮點(diǎn)中來理出一些對(duì)大會(huì)深入學(xué)習(xí)的蛛絲馬跡。

大牛“滿天飛”

ICLR 2017正式召開前，大會(huì)官網(wǎng)議程表里顯示的只是幾個(gè)簡(jiǎn)單的Invited talk(主題演講)和Contributed Talk（口頭論文演講）的演講者信息，絲毫不見其它大牛講者的蹤影。不過這個(gè)平凡感沒維持太久，第一天（4月24號(hào)）上午的第2個(gè)Contributed Talk結(jié)束后，3樓主會(huì)議室的700多名聽眾不約而同地涌出會(huì)議室進(jìn)入到外面的自由交流空間進(jìn)入Poster Session（論文自由交流）環(huán)節(jié)，正好讓剛剛“湮沒”在主會(huì)議室的Yann LeCun, Yoshua Bengio, Ian Goodfellow等大牛都躋身在3樓自由討論空間和大家來個(gè)“偶然邂逅”。譬如，AI科技評(píng)論在3樓某個(gè)不起眼的角落就看見了Yann LeCun正在和一個(gè)紐約大學(xué)的教授討論剛剛結(jié)束的演講主題，因?yàn)楦舻帽容^近，我們順勢(shì)請(qǐng)教了LeCun教授關(guān)于ICLR的幾個(gè)問題并要求了一個(gè)Yann LeCun教授的簽名。

論文自由交流時(shí)間占比大 

大會(huì)召開的3天里，每天給論文自由交流的時(shí)間都占到了4小時(shí)。第一天為例，上午10:20的Contributed Talk結(jié)束后，一直持續(xù)到12:30前的2個(gè)小時(shí)都是論文自由交流時(shí)間；下午4:10的Contributed Talk結(jié)束后, 一直持續(xù)到6:30的2個(gè)小時(shí)都也是論文自由交流時(shí)間；

而且因?yàn)槭情_放的自由交流時(shí)間，不管你來自哪個(gè)學(xué)校或者機(jī)構(gòu)，你都可以跟任何一個(gè)你想要交流的人討論他的論文。圖為雷鋒網(wǎng)【AI科技評(píng)論】跟Contributed Talk：Amortised MAP In-ference for Image Super-resolution的第一作者Casper Kaae S?nderby在自由交流區(qū)請(qǐng)教問題后的攝像。

論文展區(qū)里潛龍臥虎 

310多個(gè)論文海報(bào)展示，因?yàn)閳?chǎng)地有限，每一天的conference paper展區(qū)和workshop paper展區(qū)海報(bào)都必須置換一次，所以我們會(huì)看到非常刺激的一幕：各個(gè)知名學(xué)術(shù)大牛的學(xué)生們?cè)谒麄冋撐恼故井?dāng)天非常耐心地講解自己的論文。

下圖為Yoshua Bengio學(xué)生團(tuán)隊(duì)講解的論文。

下圖為Facebook人工智能研究院的田淵棟在講解論文。

下圖為2016年ICLR最佳論文獲得者韓松團(tuán)隊(duì)的斯坦福學(xué)生毛惠子在講解論文。

討論的東西很實(shí)用，在爭(zhēng)議中尋求進(jìn)步  

Contributed Talk或許是最能體現(xiàn)這次大會(huì)主題的東西，我們先來看看這3天的Contributed Talk標(biāo)題。

第一天

Contributed talk 1: End-to-end Optimized Image Compression

Contributed talk 2: Amortised MAP Inference for Image Super-resolution

Contributed Talk 3: Understanding deep learning requires rethinking generalization - BEST PAPER AWARD

Contributed Talk 4: Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima

Contributed Talk 5: Towards Principled Methods for Training Generative Adversarial Networks

第二天

Contributed talk 1: Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data - BEST PAPER AWARD

Contributed talk 2: Learning Graphical State Transitions

Contributed Talk 3: Learning to Act by Predicting the Future

Contributed Talk 4: Reinforcement Learning with Unsupervised Auxiliary Tasks

Contributed Talk 5: Q-Prop: Sample-Efficient Policy Gradient with An Off-Policy Critic

第三天

Contributed talk 1: Learning End-to-End Goal-Oriented Dialog

Contributed talk 2: Multi-Agent Cooperation and the Emergence of (Natural) Language

Contributed Talk 3: Making Neural Programming Architectures Generalize via Recursion - BEST PAPER AWARD

Contributed Talk 4: Neural Architecture Search with Reinforcement Learning

Contributed Talk 5: Optimization as a Model for Few-Shot Learning

相比AAAI這種綜合性更強(qiáng)的學(xué)術(shù)會(huì)議， ICLR顯然在深度學(xué)習(xí)的世界里奔跑地更加“純碎”： 端到端優(yōu)化的圖像壓縮，重新思考泛化，GANs，半監(jiān)督學(xué)習(xí)，預(yù)測(cè)未來……從這些口頭演講的論文標(biāo)題中的關(guān)鍵字，我們就可以看出這次演講的東西都是深度學(xué)習(xí)學(xué)者相對(duì)熟悉的熱詞，雖然比不上生成式對(duì)抗網(wǎng)絡(luò)GANs橫空出世時(shí)的驚艷，不過總體觀感這次會(huì)議討論的話題開始趨于實(shí)用化。

另外比較有意思的是，其中有的口頭演講論文在大會(huì)之前就引起了很大爭(zhēng)議，比如獲得最佳論文的Understanding deep learning requires rethinking generalization 理解深度學(xué)習(xí)，需要重新思考泛化問題（這篇論文以「重新思考泛化問題」為主題，通過系統(tǒng)試驗(yàn)，展示傳統(tǒng)方法無法解釋大規(guī)模神經(jīng)網(wǎng)絡(luò)在實(shí)踐中的泛化表現(xiàn)好的原因。而在實(shí)驗(yàn)中，研究者證明了用隨機(jī)梯度訓(xùn)練、用于圖像分類的 CNN 很容易擬合隨機(jī)標(biāo)簽數(shù)據(jù)，而且本質(zhì)上并不受顯式正則化的影響。）在最終的評(píng)審結(jié)果里它得到的反饋是－“作者在論文中闡述了深度神經(jīng)網(wǎng)絡(luò)擬合隨機(jī)標(biāo)簽數(shù)據(jù)的能力，并給出了非常不錯(cuò)的實(shí)驗(yàn)結(jié)果。這個(gè)調(diào)查不僅全面，也具有啟發(fā)意義。……‘ 但也有人在 OpenReview 上公開對(duì)這篇論文提出了不同意見。

不過從現(xiàn)場(chǎng)反饋來看，正是這些爭(zhēng)議反而讓我們看到了一個(gè)生動(dòng)，更真實(shí)的ICLR。

華人創(chuàng)新力量不可小覷

入選ICLR oral論文中的3篇里的華人創(chuàng)新力量，包括Contributed Talk:Understanding deep learning requires rethinking generalization的論文第一作者張馳原; Contributed Talk:Amortised MAP In-ference for Image Super-resolution論文團(tuán)隊(duì)里的施聞?wù)埽?Contributed Talk : Q-Prop: Sample-Efficient Policy Gradient with An Off-Policy Critic論文團(tuán)隊(duì)里的顧世翔，從以上大家有所耳聞的3位，再到論文海報(bào)展區(qū)背后的Facebook華人實(shí)習(xí)生，跟英偉達(dá)合作的斯坦福華人學(xué)生，前來參展的國內(nèi)企業(yè)等，我們看到華人創(chuàng)新力量正在各自專注的領(lǐng)域獲得越來越好的成績(jī)。就像獲得ICLR最佳論文的張馳原在現(xiàn)場(chǎng)做Contributed Talk演講的時(shí)候，清晰的邏輯，生動(dòng)的PPT展示方法，回答現(xiàn)場(chǎng)質(zhì)疑的冷靜幽默，讓現(xiàn)場(chǎng)出現(xiàn)了幾次掌聲雷動(dòng)的場(chǎng)景，這情形不亞于一群嫻熟導(dǎo)師發(fā)現(xiàn)新大陸時(shí)的震撼和驚喜。

小結(jié)

從初次簽到時(shí)會(huì)場(chǎng)的“簡(jiǎn)陋”，到第二天大?！皾M天飛”的戲劇性反轉(zhuǎn)之后，再到后面無窮無盡的論文討論。大家會(huì)發(fā)現(xiàn)這是一個(gè)非常重視“基于論文溝通交流”的學(xué)術(shù)大會(huì)，而不是單純做做樣子。主會(huì)議室演講的大部分主題讓給了論文，業(yè)界公司過來展示版面讓給了論文，論文海報(bào)展示區(qū)前的大部分人也是為了溝通交流而來。對(duì)于那些狂熱的學(xué)習(xí)交流分子來說，下圖中涌動(dòng)的人頭就是他們心中最美的畫面。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。