被譽(yù)為神經(jīng)計(jì)算和機(jī)器學(xué)習(xí)領(lǐng)域兩大頂級(jí)會(huì)議之一的 NIPS 于近日揭曉收錄論文名單，此次為第 32 屆會(huì)議，將于 12 月 3 日至 8 日在加拿大蒙特利爾舉辦。
騰訊 AI Lab 第三次參加 NIPS，共有 20 篇論文入選，其中 2 篇被選為亮點(diǎn)論文(Spotlight)，涵蓋遷移學(xué)習(xí)、模仿學(xué)習(xí)、半監(jiān)督學(xué)習(xí)等多個(gè)研究主題，去年我們?nèi)脒x論文 8 篇，含 1 篇口頭報(bào)告(Oral)。
此外，在今年的多個(gè)頂級(jí)學(xué)術(shù)會(huì)議中，騰訊 AI Lab 也入選多篇論文，位居國內(nèi)企業(yè)前列，包括計(jì)算機(jī)視覺領(lǐng)域頂會(huì) CVPR(21 篇)和 ECCV(19 篇)、機(jī)器學(xué)習(xí)領(lǐng)域頂會(huì) ICML(16 篇)、NLP 領(lǐng)域頂會(huì) EMNLP(16 篇)，以及語音領(lǐng)域頂會(huì) Interspeech(8 篇)等。
我們將在下文一一解析本次騰訊 AI Lab 入選論文，也邀請(qǐng)大家在 NIPS 的現(xiàn)場(chǎng)跟我們進(jìn)一步交流與討論。
SPIDER-SFO
新提出的模型結(jié)構(gòu)及其訓(xùn)練連接如上圖所示。該模型由一個(gè)語句定位器和一個(gè)描述生成器組成。在訓(xùn)練過程中，模型可使用視頻及其所有的事件描述。首先語句定位器會(huì)使用視頻和其中一個(gè)事件描述來獲得一個(gè)時(shí)間片段預(yù)測(cè)，然后描述生成器會(huì)使用這個(gè)時(shí)間片段來生成一個(gè)描述語句。
8. 基于可配置熵約束的半監(jiān)督學(xué)習(xí)
Semi-Supervised Learning with Declaratively Specified Entropy Constraints
論文地址：https://arxiv.org/abs/1804.09238
這項(xiàng)研究由卡耐基梅隆大學(xué)(CMU)與騰訊 AI Lab 合作完成，提出了一種新的聲明式列舉規(guī)則的半監(jiān)督學(xué)習(xí)的方法，可用于定制化半監(jiān)督學(xué)習(xí)。這種方法可以組合多個(gè)半監(jiān)督學(xué)習(xí)策略，同時(shí)可以結(jié)合多個(gè)協(xié)議(agreement)約束和熵正則化(entropic regularization)約束。此外，這種方法還可以用于模擬其它常見的模型，比如聯(lián)合訓(xùn)練和針對(duì)全新域的啟發(fā)式方法。除了表征單個(gè)的半監(jiān)督學(xué)習(xí)啟發(fā)式方法，研究者還表明可以使用貝葉斯優(yōu)化將多種啟發(fā)式方法組合到一起。在多個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明這種方法能穩(wěn)定地優(yōu)于其它方法，并在一個(gè)較困難的關(guān)系抽取任務(wù)上得到了當(dāng)前最佳的結(jié)果。
新提出的去卷積網(wǎng)絡(luò)的架構(gòu)，其中通過廣義低秩近(GLRA)使用大量模糊核(blur kernel)的可分離過濾器來初始化第 1 層和第 3 層的參數(shù)，并使用為每個(gè)模糊核估計(jì)的 M 來固定第 2 個(gè)卷積核中的參數(shù)。另外還堆疊了額外的 3 個(gè)卷積層來去除偽影。
10. 超越二次指派模型：圖匹配形式化的一個(gè)推廣
Generalizing Graph Matching beyond Quadratic Assignment Model
這項(xiàng)研究由騰訊 AI Lab、上海交通大學(xué)、美國亞利桑那州立大學(xué)等合作完成。圖匹配在過去幾十年間一直受到持續(xù)觀注，該問題往往可以被形式化成一個(gè)二階指派問題。研究者在本文中展示：通過引入一系列在本文中被稱為可分離的函數(shù)，并調(diào)整近似控制參數(shù)，可以在連續(xù)域中對(duì)離散的圖匹配問題進(jìn)行漸進(jìn)的近似。研究者對(duì)該近似模型的全局最優(yōu)解性質(zhì)進(jìn)行了研究，并進(jìn)一步設(shè)計(jì)了凸/凹性質(zhì)保持下的擴(kuò)展算法，而該類似策略在傳統(tǒng) Lawler 二次指派模型上亦被廣泛采用。從理論上，研究者進(jìn)一步論證了所提出的框架在為圖匹配新算法與技術(shù)設(shè)計(jì)帶來的巨大潛力。最后，通過兩個(gè)具體的可分離函數(shù)形式，研究者設(shè)計(jì)了相關(guān)求解算法，并在公開數(shù)據(jù)集上進(jìn)行了驗(yàn)證。
11. 基于蒸餾 Wasserstein 學(xué)習(xí)的單詞嵌入與主題建模
Distilled Wasserstein Learning for Word Embedding and Topic Modeling
論文地址：https://arxiv.org/abs/1809.04705
這項(xiàng)研究由 InfiniaML, Inc. 和美國杜克大學(xué)主導(dǎo)，與騰訊 AI Lab 合作完成。本文提出了一種具有蒸餾機(jī)制的 Wasserstein 學(xué)習(xí)方法，實(shí)現(xiàn)了單詞嵌入與文本主題的聯(lián)合學(xué)習(xí)。該方法的依據(jù)在于不同主題單詞分布的 Wasserstein 距離往往是建立在單詞嵌入的歐式距離的基礎(chǔ)之上的。因此，該方法采用了一個(gè)統(tǒng)一的框架用以學(xué)習(xí)主題模型對(duì)應(yīng)的單詞分布，單詞分布之間的最優(yōu)傳輸，以及相應(yīng)的單詞嵌入模型。在學(xué)習(xí)主題模型時(shí)，研究者利用模型蒸餾的方法平滑距離矩陣，用以更新主題模型和計(jì)算主題之間的最優(yōu)傳輸。這種蒸餾機(jī)制為下一步單詞嵌入的更新提供了具有魯棒性的指導(dǎo)，改進(jìn)了學(xué)習(xí)過程的收斂性。針對(duì)采用疾病和手術(shù) ICD 編碼的病人入院記錄，研究者的方法在構(gòu)建疾病相關(guān)性網(wǎng)絡(luò)，死亡率預(yù)測(cè)，和治療方案推薦等應(yīng)用上取得了比現(xiàn)有方法更好的結(jié)果。
上圖展示了新提出的往復(fù)式學(xué)習(xí)算法總覽。該算法會(huì)首先在前向過程中計(jì)算給定訓(xùn)練樣本的分類分?jǐn)?shù)，然后在后向過程中通過取該分類分?jǐn)?shù)相對(duì)該樣本的偏導(dǎo)數(shù)來得到顯著性響應(yīng)圖。之后再將這個(gè)響應(yīng)圖作為正則化項(xiàng)與分類損失結(jié)合起來用于訓(xùn)練分類器。測(cè)試階段不會(huì)生成響應(yīng)圖，而是由分類器直接預(yù)測(cè)目標(biāo)位置。
13. 基于學(xué)習(xí)的多任務(wù)學(xué)習(xí)框架 L2MT
Learning to Multitask
論文地址：https://arxiv.org/abs/1805.07541
這項(xiàng)研究由香港科技大學(xué)與騰訊 AI Lab 合作完成，提出了學(xué)會(huì)多任務(wù)學(xué)習(xí)(L2MT)的框架，能夠自動(dòng)發(fā)掘?qū)τ谝粋€(gè)多任務(wù)問題最優(yōu)的多任務(wù)學(xué)習(xí)模型。為了實(shí)現(xiàn)這個(gè)目標(biāo)，L2MT 充分利用了歷史的多任務(wù)學(xué)習(xí)經(jīng)驗(yàn)。每個(gè)多任務(wù)學(xué)習(xí)經(jīng)驗(yàn)是一個(gè)三元組，包括一個(gè)由多個(gè)任務(wù)組成的多任務(wù)問題、一個(gè)多任務(wù)學(xué)習(xí)模型以及該模型在該多任務(wù)問題上的相對(duì)測(cè)試錯(cuò)誤率。以歷史的多任務(wù)學(xué)習(xí)經(jīng)驗(yàn)作為訓(xùn)練集，L2MT 首先使用層式圖神經(jīng)網(wǎng)絡(luò)(layerwise graph neural network)學(xué)習(xí)每個(gè)多任務(wù)問題里所有任務(wù)的特征表示。其次，L2MT 會(huì)學(xué)習(xí)一個(gè)估計(jì)函數(shù)來預(yù)測(cè)相對(duì)測(cè)試錯(cuò)誤率，該估計(jì)函數(shù)基于多任務(wù)問題的特征表示以及多任務(wù)學(xué)習(xí)模型。如此一來，給定一個(gè)新的多任務(wù)問題，通過最小化該估計(jì)函數(shù)(等價(jià)于最小化相對(duì)測(cè)試錯(cuò)誤率)可以確定一個(gè)合適的多任務(wù)模型。在標(biāo)準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)證明了 L2MT 的有效性。
可判別式通道剪枝(DCP)示意圖
15. M-Walk: 圖游走的蒙特卡洛樹狀搜索學(xué)習(xí)方法
M-Walk: Learning to Walk in Graph with Monte Carlo Tree Search
論文地址：https://arxiv.org/abs/1802.04394
這項(xiàng)研究由微軟研究院與騰訊 AI Lab 合作完成，提出了一種可用于知識(shí)圖譜推理的蒙特卡洛樹狀搜索學(xué)習(xí)方法 M-Walk。在知識(shí)庫完成等應(yīng)用中，給定一個(gè)輸入查詢和一個(gè)源節(jié)點(diǎn)，學(xué)習(xí)在圖中到達(dá)目標(biāo)節(jié)點(diǎn)是一個(gè)很重要的研究問題。這個(gè)問題可通過一個(gè)已知的狀態(tài)轉(zhuǎn)移模型而形式化為一個(gè)強(qiáng)化學(xué)習(xí)問題。為了克服獎(jiǎng)勵(lì)稀疏的難題，研究者開發(fā)出了一種能在圖中游走的智能體 M-Walk——由一個(gè)深度循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)和蒙特卡洛樹搜索(MCTS)構(gòu)成。RNN 會(huì)對(duì)狀態(tài)(即游走過的路徑的歷史)進(jìn)行編碼，并將其分別映射成一個(gè)策略、一個(gè)狀態(tài)值和狀態(tài)-動(dòng)作 Q 值。為了能使用稀疏獎(jiǎng)勵(lì)有效地訓(xùn)練該智能體，研究者將 MCTS 與這個(gè)神經(jīng)網(wǎng)絡(luò)策略結(jié)合到了一起，可以生成能產(chǎn)生更多積極獎(jiǎng)勵(lì)的軌跡。通過 Q 學(xué)習(xí)方法(其會(huì)通過參數(shù)共享來修改 RNN 策略)，神經(jīng)網(wǎng)絡(luò)能使用這些軌跡以一種離策略的方式得到改進(jìn)。研究者提出的強(qiáng)化學(xué)習(xí)算法可以反復(fù)應(yīng)用這一策略改進(jìn)步驟，從而學(xué)習(xí)得到整個(gè)模型。在測(cè)試時(shí)間，MCTS 仍然會(huì)與神經(jīng)策略結(jié)合起來預(yù)測(cè)目標(biāo)節(jié)點(diǎn)。研究者在多個(gè)圖游走基準(zhǔn)上進(jìn)行了實(shí)驗(yàn)，結(jié)果表明 M-Walk 能夠?qū)W會(huì)比其它基于強(qiáng)化學(xué)習(xí)的方法(主要基于策略梯度)更好的策略。M-Walk 的表現(xiàn)也優(yōu)于傳統(tǒng)的知識(shí)庫完成基準(zhǔn)。
耦合變分貝葉斯算法
17. 常數(shù)迭代復(fù)雜度的隨機(jī)經(jīng)驗(yàn)誤差最小化方法
Stochastic Primal-Dual Method for Empirical Risk Minimization with O(1) Per-Iteration Complexity
這項(xiàng)研究由香港中文大學(xué)、騰訊 AI Lab、加州大學(xué)戴維斯分校與羅切斯特大學(xué)合作完成，提出了一種可用于快速求解基于廣義線性模型的經(jīng)驗(yàn)誤差最小化問題的方法。該方法的特點(diǎn)是每輪迭代只需要 O(1) 的常數(shù)計(jì)算量，與問題的維度以及數(shù)據(jù)的大小無關(guān)。研究者還發(fā)展了該方法的一種方差減小的變種，在強(qiáng)凸條件下可以證明它具有線性收斂性。研究者使用 logistic 損失函數(shù)進(jìn)行了求解分類問題的數(shù)值實(shí)驗(yàn)，結(jié)果表明新方法在高維問題上的收斂速度優(yōu)于 SGD、SVRG、SAGA 等經(jīng)典算法。
使用了方差縮減的 SPD1
18. 方差縮減的隨機(jī)期望最大化算法
Stochastic Expectation Maximization with Variance Reduction
論文地址：https://ml.cs.tsinghua.edu.cn/~jianfei/semvr-nips2018.pdf
這項(xiàng)研究由清華大學(xué)主導(dǎo)完成，騰訊 AI Lab 和牛津大學(xué)也有參與。論文提出了一個(gè)受方差縮減的隨機(jī)梯度下降算法啟發(fā)的基于方差縮減的隨機(jī) EM(sEM-vr)算法。研究表明 sEM-vr 具備和批 EM 相同的指數(shù)收斂速率，且 sEM-vr 只需要常數(shù)步長(zhǎng)，從而能降低調(diào)參的負(fù)擔(dān)。研究者在高斯混合模型和 PLSA 上比較了 sEM-vr 和批處理 EM、隨機(jī) EM 及其它算法，結(jié)果表明 sEM-vr 比其它算法收斂明顯更快。該方法在對(duì)訓(xùn)練精度要求較高時(shí)能顯著提升隨機(jī) EM 算法的收斂速度。
19. 通信有效分布式優(yōu)化的稀疏梯度方法
Gradient Sparsification for Communication-Efficient Distributed Optimization
論文地址：https://arxiv.org/abs/1710.09854
這項(xiàng)研究由賓夕法尼亞大學(xué)、騰訊 AI Lab、芝加哥大學(xué)與羅切斯特大學(xué)合作完成，提出了一種可用于提高大規(guī)模分布式機(jī)器學(xué)習(xí)模型訓(xùn)練的通信速度的方法?，F(xiàn)代大規(guī)模機(jī)器學(xué)習(xí)一般使用分布式環(huán)境下的隨機(jī)優(yōu)化算法，傳播梯度的通信成本是其中一大重要瓶頸。為了降低通信成本，研究者提出了一種基于凸優(yōu)化的方法來減小編碼長(zhǎng)度，并使用了一些簡(jiǎn)單快速的近似算法來有效求解最優(yōu)的稀疏化方法，該方法能提供基于稀疏程度的理論保證。另外，研究者也在 L2 正則化 logistic 回歸、支持向量機(jī)和卷積神經(jīng)網(wǎng)絡(luò)等凸模型和非凸模型上驗(yàn)證對(duì)新提出的算法進(jìn)行了驗(yàn)證。
20. 去中心化的壓縮算法
Decentralization Meets Quantization
論文地址：https://arxiv.org/abs/1803.06443
這項(xiàng)研究由羅徹斯特大學(xué)、蘇黎世聯(lián)邦理工學(xué)院與騰訊 AI Lab 合作完成，提出了兩種適用于去中心化網(wǎng)絡(luò)的壓縮方法(外推壓縮和差異壓縮)。對(duì)于大規(guī)模并行計(jì)算，去中心化的網(wǎng)絡(luò)設(shè)計(jì)和傳輸信息的壓縮對(duì)于解決網(wǎng)絡(luò)延時(shí)十分有效。然而，與中心化的并行計(jì)算不同，理論分析表明，直接將去中心化網(wǎng)絡(luò)與壓縮算法結(jié)合將會(huì)造成訓(xùn)練結(jié)果不收斂。研究者為解決該問題而提出的兩種壓縮方法能達(dá)到與中心化壓縮算法相同的運(yùn)算效率。研究者也實(shí)驗(yàn)了這兩種算法，結(jié)果表明它們大幅優(yōu)于只用去中心化網(wǎng)絡(luò)或只用壓縮的算法。
DCD-PSGD：差異壓縮去中心化并行隨機(jī)梯度下降算法
一分鐘了解 NIPS
NIPS 全稱為 Annual Conference and Workshop on Neural Information Processing Systems，于 1986 年在由加州理工學(xué)院和貝爾實(shí)驗(yàn)室組織的 Snowbird 神經(jīng)網(wǎng)絡(luò)計(jì)算年度閉門論壇上首次提出。會(huì)議固定在每年 12 月舉行。今年是第 32 屆，將于 12 月 3 日到 8 日在加拿大蒙特利爾舉辦。
計(jì)算機(jī)學(xué)科由于成果更新迅速，更愿意通過會(huì)議優(yōu)先發(fā)表成果，因此該類頂級(jí)會(huì)議大多比期刊更具權(quán)威性與影響力。NIPS 和 ICML 是機(jī)器學(xué)習(xí)領(lǐng)域最受認(rèn)可的兩大頂會(huì)，是中國計(jì)算機(jī)學(xué)會(huì) CCF 推薦的 A 類會(huì)議及 Google 學(xué)術(shù)指標(biāo)前五名。(見如下)
質(zhì)檢
推薦
