微軟研究院在IJCAI2016的Tutorial上講述了自己將深度學習、深度神經(jīng)網(wǎng)絡應用于不同場景的情況，之前第二部分提到了深度學習在統(tǒng)計機器翻譯和會話中的應用，本文為第三部分—選中自然語言處理任務的連續(xù)表達。

聯(lián)合編譯：Blake、章敏、陳圳

選中自然語言處理任務的連續(xù)表達

l  針對信息檢索和個人排序的深度語義相似模型（DSSM）

l  在連續(xù)語義自然語言處理任務環(huán)境中進行深度強化學習

l  針對字幕與視覺問題回答的多元語義學習&推理

對自然語言學習連續(xù)語義表達，例如：從原始語句到一個抽象語義矢量

在許多自然語言處理任務中Sent2Vec非常重要，它可以處理包括網(wǎng)頁搜索、廣告選取、文本排序、在線推薦、機器翻譯、知識架構(gòu)、問題回答、個性化推薦、圖片搜索、圖標注釋等問題。

監(jiān)督問題：

雖然

l  需要學習的文本語義是隱藏的

l  且沒有明確的目標學習模型

l  另外不知如何反向傳播？

但是幸運的是

l  我們一般知道倆個文本是否“相似”

l  這就是語義表達學習的信號

深度架構(gòu)語義模型

深度架構(gòu)語義模型/深度語義相似模型，將整個句子轉(zhuǎn)換成連續(xù)語義空間。例如：句子變成矢量

DSSM基于字符（非詞匯）建立實為了其可拓展性和普適性

DSSM被訓練來優(yōu)化相似驅(qū)動對象

在字符級別進行編碼，即詞匯散列。

在字符級別建立的DSSM，將任意詞匯分解成一系列相關字符，傾向于處理大規(guī)模自然語言任務。

DSSM：一個相似驅(qū)動Sent2Vec模型

初始化：神經(jīng)網(wǎng)絡使用隨機權(quán)重進行初始化

訓練：在語義矢量之間計算余弦相似度

運行時間

訓練目標：基于余弦相似度的損失

使用網(wǎng)頁搜索作為示例：

查詢q與一系列文檔D

目標：給定查詢后點擊文檔的可能性

在DSSM中使用卷曲神經(jīng)網(wǎng)絡

在卷曲層對本地文本進行建模

在匯聚層對全局文本進行建模

模型在卷曲層捕捉本地本文相關詞的意義，并學習了每個本地文本相關詞的嵌入矢量。

CDSSM:在最大匯聚層發(fā)生了什么？

將本地主題聚集起來形成全局化

識別最大聚集層的主要詞匯/短語

在最大聚集層獲得最活躍的神經(jīng)元詞匯

針對學習檢索的DSSM，訓練數(shù)據(jù)組搜索記錄中的語義相關文本組。

實驗設定

卷曲深度語義模型取得最佳結(jié)果。

語義匹配示例

卷積DSSM:

在卷積隱層一個接一個就行編碼

隱層在最后一個詞匯對整句進行語義編碼

通過余弦相似驅(qū)動目標來訓練模型

使用長短期記憶（LSTM）結(jié)果：

LSTM比常規(guī)RNN學得快得多

LSTM能有效代表使用矢量句子的語義信息

DSSM與Seq2Seq對比

給出一個特別用戶的文章跨度代表利益實體，并尋找實體的補充文件。

學習DSSM的語境實體次序

從網(wǎng)頁瀏覽日志提取標簽對，超鏈接指向維基百科P`時，P`中的H的錨文本，環(huán)境詞匯，文本

語境實體搜索——實驗設置：

1.訓練/驗證數(shù)據(jù)是維基頁面中18M的用戶點擊量

2.評估數(shù)據(jù)：首先采樣10k的網(wǎng)頁文件作為源文件，然后使用文檔中被命名的實體作為查詢；第三保留100個返回文件作為目標文件，最后手動標記是否每一個目標文件都可以完好的描述實體。其中總共有870k標簽對。

語境實體搜索的結(jié)果

一些相關的工作：

深度CNN文本輸入（文章中主要的分級任務）

序列到序列的學習；段落矢量（學習段落的矢量）

遞歸NN（樹狀結(jié)構(gòu)如分解）

張量積代表（樹狀代表）

樹狀結(jié)構(gòu)LSTM網(wǎng)絡（樹狀結(jié)構(gòu)LSTM）

強化學習的模型——包括環(huán)境狀態(tài)設置S；行動設置A，以及狀態(tài)之間的轉(zhuǎn)換規(guī)則；狀態(tài)轉(zhuǎn)換的即時獎勵規(guī)則和代理觀察規(guī)則。

Q-learning用于學習RL的政策（代理在給定的當前狀態(tài)選擇行動時必須遵循的規(guī)則）。其目的是找到MDP的最優(yōu)政策，方法是：學習一個行動-價值函數(shù)，a.k.a。Q-函數(shù)：用于計算在訓練收斂之后的狀態(tài)上，所采取行動的期待效用。

最近的成就：深度Q網(wǎng)絡在玩五個Atari游戲時，達到了人類級別的性能。其中使用了卷積神經(jīng)網(wǎng)絡計算Q（s，a），并利用大的行動空間，忽略小的行動空間。

最近的成就（續(xù)）：機器人AlphaGO打敗了世界圍棋冠軍。它與深度Q網(wǎng)絡設置類似，忽略小的行動空間，它的模型中建立了兩個CNNs網(wǎng)絡（policy網(wǎng)絡和value網(wǎng)絡）。

語言理解的強化學習：以文本串的形式描述狀態(tài)和行動，代理通過文本串做出相應正確的行動（正確指最大化長期獎勵）。然后，環(huán)境狀態(tài)轉(zhuǎn)換到新的狀態(tài)，代理也得到即時獎勵。

行動空間和狀態(tài)空間都非常的巨大，而且行動的特征由無界神經(jīng)語言描述確定。

在NLP任務中，行動空間的特征由神經(jīng)語言決定，它是離散的且近乎于無邊界。我們提出了深度強化相關網(wǎng)絡，將狀態(tài)和空間都規(guī)劃到連續(xù)的空間中，其中Q-函數(shù)是狀態(tài)矢量和行為矢量的相關函數(shù)。

學習連續(xù)空間的視覺化，圖2表示了：嵌入狀態(tài)矢量和相關行動矢量后200,400,600訓練片段的文本PCA項目。狀態(tài)指：當你向前移動時。你周圍的人臉上露出了恐怖的表情，并逃離街道。行動1（好的選擇）：向上看，行動2（不好的選擇）：無視他人的警告繼續(xù)前進。

DRRN和DQN在兩個文本游戲上的測試結(jié)果（學習曲線）

表展示了聚集后Q函數(shù)的示例值，且DRNN很好的概括了無法看見的行為。

人類學習處理文本，圖像和聯(lián)合的信息。

圖像側(cè)卷積網(wǎng)絡實現(xiàn)過程

語言側(cè)卷積網(wǎng)絡實現(xiàn)過程

圖像說明，通過深度學習模式檢測圖像中的關鍵概念，MELE從圖像檢測中產(chǎn)生解釋。檢測單詞后，對其進行重新排列組成句子。

CaptionBot示例

說明到回答問題的過程

堆積注意模式推理工程：問題模式，圖像模式，多水平注意模式，回答預測器。

SAN圖像模式

SAN中問題模式

回答示例

總結(jié)：

本部分主要介紹通過DSSM學習Sent2Vec，在連續(xù)空間內(nèi)對NLP任務進行強化學習以及視覺語言聯(lián)合表達學習等概念。具體包括：

通過DSSM學習Sent2Vec：

DSSM把整個句子放在連續(xù)的空間內(nèi)

基于特征字符級別建立DSSM

DSSM直接優(yōu)化目標函數(shù)的語義相似度

在連續(xù)空間內(nèi)對NLP任務進行強化學習：

使用深度神經(jīng)網(wǎng)絡把狀態(tài)和行動（無邊界NL決定）放入連續(xù)語義空間

在連續(xù)語義空間計算Q函數(shù)

視覺語言聯(lián)合表達學習：

圖像解釋——CaptopnBot示例

視覺問題回答——關鍵在于推理

PS : 本文由雷鋒網(wǎng)獨家編譯，未經(jīng)許可拒絕轉(zhuǎn)載！

via Microsoft IJCAI2016

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。