今日 Paper | 自注意力對齊；自動化評估；關(guān)系抽取任務(wù)；LSTM模型等

本文作者： AI研習(xí)社

2020-04-20 11:46

導(dǎo)語：為了更好地服務(wù)廣大 AI 青年，AI 研習(xí)社正式推出全新「論文」版塊。

自注意力對齊：使用自注意力網(wǎng)絡(luò)和跳塊的一種延時控制的端到端語音識別模型

論文名稱：self-attention aligner: a latency-control end-to-end model for ASR using self-attention network and chunk-hopping

作者：Linhao Dong / Feng Wang / Bo Xu

發(fā)表時間：2019/2/18

論文鏈接：https://paper.yanxishe.com/review/16749?from=leiphonecolumn_paperreview0420

推薦原因

為了解決RNN結(jié)構(gòu)的語音識別模型存在的訓(xùn)練時間長、對一些噪音很敏感等問題，作者參考了transformer結(jié)構(gòu)設(shè)計了一個語音識別模型，其中編碼部分使用了時間維度的池化操作進(jìn)行下采樣來進(jìn)行時間維度的信息交互并提高模型速度，解碼的部分設(shè)計了一種模擬CTC的對齊結(jié)構(gòu)。此外，作者將語音識別模型與語言模型進(jìn)行端到端的聯(lián)合訓(xùn)練，使得CER得到進(jìn)一步提升。

將transformer結(jié)構(gòu)應(yīng)用語音識別，今天已經(jīng)不新鮮了。但是就去年本文發(fā)表的時期而言，將另一個領(lǐng)域的優(yōu)秀模型應(yīng)用到本領(lǐng)域來，會遇到什么問題，要怎么解決這些問題，如何進(jìn)行優(yōu)化？本文的這些思路都是很值得參考的。比如，transformer模型能很好的解決文本類的NLP任務(wù)，那么將其與語音識別聯(lián)合訓(xùn)練，也更有可能收斂，以達(dá)到提高表現(xiàn)的目的。

今日 Paper | 自注意力對齊；自動化評估；關(guān)系抽取任務(wù)；LSTM模型等

為什么我們需要為NLG設(shè)計新的自動化評估指標(biāo)

論文名稱：Why We Need New Evaluation Metrics for NLG

作者：Jekaterina Novikova / Ondrej Du ˇ sek / Amanda Cercas Curry ˇ / Verena Rieser

發(fā)表時間：2017/7/21

論文鏈接：https://paper.yanxishe.com/review/16619?from=leiphonecolumn_paperreview0420

推薦原因

核心內(nèi)容: 作者針對NLG(nature language generation)自動化評估問題，對于WBMs(Word-based Metrics), GBMs(Grammar-based metrics)兩大類總計21個當(dāng)時常用的評估指標(biāo)進(jìn)行了分析，具體是用了3個SOTA模型以及三個屬于不同領(lǐng)域的數(shù)據(jù)集上進(jìn)行測試，并且將測試結(jié)果進(jìn)一步交由眾包平臺進(jìn)行人工打分，進(jìn)而對自動評估和人工評估進(jìn)行有效性對比以及關(guān)聯(lián)性分析。同時，對于測試結(jié)果進(jìn)行了模型、數(shù)據(jù)集、以及具體樣本級別的詳細(xì)錯誤分析，得出了包括BLEU在內(nèi)的大部分指標(biāo)并不能令人滿意的結(jié)論。

文章亮點：系統(tǒng)地分析了自動評估與人工評估關(guān)聯(lián)性及其在不同數(shù)據(jù)集上的表現(xiàn)；作者公開了全部的代碼、數(shù)據(jù)以及分析結(jié)果。

推薦理由：設(shè)計一個模型的時候，對數(shù)據(jù)集進(jìn)行分析是理所當(dāng)然的，對于當(dāng)前的自動化評估指標(biāo)是否適用于數(shù)據(jù)集就沒那么直觀了，本文對于如何設(shè)計出一個令人滿意的NLP模型給人以啟發(fā)。

利用多輪問答模型處理實體-關(guān)系抽取任務(wù)

論文名稱：Entity-Relation Extraction as Multi-turn Question Answering

作者：Xiaoya Li / Fan Yin / Zijun Sun / Xiayu Li / Arianna Yuan /Duo Chai / Mingxin Zhou and Jiwei Li

發(fā)表時間：2019/9/4

論文鏈接：https://paper.yanxishe.com/review/15956?from=leiphonecolumn_paperreview0420

推薦原因

如今NLP領(lǐng)域很多研究人員將非QA(question answer)的任務(wù)轉(zhuǎn)換成QA問題，取得了不錯的效果，受此啟發(fā)，作者提出了使用設(shè)計了一種問答模型的新模式來處理事件抽取任務(wù)，其核心部分是：針對首實體(head entity)和關(guān)系(relation)分別設(shè)計了一種將實體轉(zhuǎn)換為問題(question)的模板，并通過生成答案(answer)來依次抽取head entity和整個三元組。同時，本文參考了對話系統(tǒng)中利用強化學(xué)習(xí)來進(jìn)行多輪任務(wù)的思想，設(shè)計了多輪問答模型。

本文涉及到事件抽取、問答系統(tǒng)、閱讀理解、強化學(xué)習(xí)等多個NLP方面的知識，并提出了一個有利于事件抽取的中文數(shù)據(jù)集，在多個數(shù)據(jù)集上均達(dá)到了新的SOTA。

從作者的數(shù)量能看出，他們做了大量的工作，對于個人來說可能很難復(fù)現(xiàn)他們的實驗，但是其融合NLP多個領(lǐng)域來進(jìn)行模型的優(yōu)化的思想，很值得學(xué)習(xí)。

傾聽“聲音”的聲音：一種用于聲音事件檢測的“時間-頻率”注意力模型

論文名稱：Learning How to Listen: A Temporal-Frequential Attention Model for Sound Event Detection

作者：Yu-Han Shen / Ke-Xin He / Wei-Qiang Zhang

發(fā)表時間：2018/10/29

論文鏈接：https://paper.yanxishe.com/review/15418?from=leiphonecolumn_paperreview0420

推薦原因

這篇文章被 ICASSP 2019收錄，核心內(nèi)容是作者作為一個參賽者對DCASE2017中的一個特殊語音事件檢測任務(wù)的分析，作者的思路是利用attention機制，提取出聲音信號中最為重要的特征，并且從單個frame的頻譜特性( spectral characteristic)以及樣本中多個frames的時間特性的角度設(shè)計注意力模型，使用maxpooling將一段聲音中的關(guān)鍵特征抽取出來。

從比賽結(jié)果來看，作為沒有使用集成學(xué)習(xí)的單個模型，作者提出的這種模型結(jié)構(gòu)所得到的分?jǐn)?shù)是比賽中最優(yōu)的。

本文不僅模型設(shè)計的很出色，對于數(shù)據(jù)不均衡、音頻噪聲等問題的處理也值得一讀。

用于端到端流式語音識別的單向LSTM模型結(jié)構(gòu)分析

論文名稱：Unidirectional Neural Network Architectures for End-to-End Automatic Speech Recognition

作者：Niko Moritz / Takaaki Hori / Jonathan Le Roux

發(fā)表時間：2019/9/19

論文鏈接：https://paper.yanxishe.com/review/15822?from=leiphonecolumn_paperreview0420

推薦原因

端到端ASR模型中，以往的語音識別模塊結(jié)構(gòu)變成了單一的神經(jīng)網(wǎng)絡(luò)，這要求模型能處理更長的上下文信息，目前，雙向LSTM(BiLSTM)已經(jīng)在這方面取得了相當(dāng)好的效果，但是并不適合流式語音識別。作者以此為出發(fā)點，討論了現(xiàn)在流行的幾種單向LSTM網(wǎng)絡(luò)模型以及基于延時控制(latency-controlled)的BiLSTM，并且以此為基礎(chǔ)提出了兩種更好的TDLSTM(time-delayed LSTM)，并且在中英文語音數(shù)據(jù)集上進(jìn)行了驗證。

本文專門討論網(wǎng)絡(luò)模型設(shè)計，一方面，為了保證公平，對作為baseline的模型均做了一些優(yōu)化，同時簡化了輸入輸出模塊，除了“Kaldi”-TDNN-LSTM模型在大型訓(xùn)練集上出現(xiàn)了內(nèi)存溢出，其他模型均在包括延時控制、模型參數(shù)數(shù)量等方面均很接近的條件下進(jìn)行訓(xùn)練，另一方面，作者對于如何設(shè)計一個滿足需求的神經(jīng)網(wǎng)絡(luò)模型講解的很細(xì)致，有一種讀教材的感覺。因此，我還特意去搜到這個作者的個人網(wǎng)站，的確是個牛人http://www.jonathanleroux.org/。

求職交流

現(xiàn)AI 研習(xí)社已經(jīng)和阿里大文娛、曠視、搜狗搜索、小米等知名公司達(dá)成聯(lián)系，為幫助大家更好地求職找工作，社區(qū)成立了AI求職內(nèi)推社群，找工作找實習(xí)的小伙伴可以掃碼進(jìn)群了，也歡迎在讀的同學(xué)來交流學(xué)習(xí)。（群里有企業(yè)hr，項目招聘人員）

今日 Paper | 自注意力對齊；自動化評估；關(guān)系抽取任務(wù)；LSTM模型等