原文來自：thinkbigdata
譯文來自：伯樂在線
最近，深度學(xué)習(xí)成為一個(gè)流行語。有分析人士稱，它會(huì)吞噬掉目前已知的其他機(jī)器學(xué)習(xí)（ML）方法。其他人則將深度學(xué)習(xí)的市場(chǎng)形容為一個(gè)金礦，稱該技術(shù)有望取代整個(gè)行業(yè)和應(yīng)用的大量人力干預(yù)。在本文，我試著簡(jiǎn)化深度學(xué)習(xí)的概念，并對(duì)其未來在 ML 生態(tài)系統(tǒng)的發(fā)展做了一些觀察。

有趣的是，深度學(xué)習(xí)的概念并不是新出現(xiàn)的。它只不過是一個(gè)擴(kuò)展的人工神經(jīng)網(wǎng)絡(luò)（ANN）算法，在90年代初曾經(jīng)風(fēng)靡一時(shí)，但后來被邊緣化。為什么？因?yàn)?ANN 要求非常大的數(shù)據(jù)集來訓(xùn)練，但這不太符合實(shí)際。有了深度學(xué)習(xí)，ANN 又重獲新生。怎么做呢？深度學(xué)習(xí)算法訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)，管理比以往規(guī)模更小的數(shù)據(jù)。

為什么我們需要深度學(xué)習(xí)？

好吧，答案很簡(jiǎn)單。可以用更多的數(shù)據(jù)或是更好的算法來提高學(xué)習(xí)算法的結(jié)果。對(duì)某些應(yīng)用而言，深度學(xué)習(xí)在大數(shù)據(jù)集上的表現(xiàn)比其他機(jī)器學(xué)習(xí)（ML）方法都要好（稍后將討論例外情況）。這些又如何轉(zhuǎn)化為現(xiàn)實(shí)生活中的情形呢？深度學(xué)習(xí)更適合無標(biāo)記數(shù)據(jù)，因而它并不局限于以實(shí)體識(shí)別為主的自然語言處理（NLP）領(lǐng)域。

深度學(xué)習(xí)與機(jī)器學(xué)習(xí)相比表現(xiàn)如何？

最通俗地說，深度學(xué)習(xí)探索了神經(jīng)網(wǎng)絡(luò)的概率空間，這是傳統(tǒng)的機(jī)器學(xué)習(xí)工具所做不到的。熟悉ML的人會(huì)知道，與其他工具相比，深度學(xué)習(xí)算法更適合未標(biāo)記數(shù)據(jù)，更適合強(qiáng)特征提取（深度框架），也更適合于模式識(shí)別（圖像、文本、音頻）。這多半可以歸因于它能減少模型中自由參數(shù)的數(shù)目。

那是否可以說深度學(xué)習(xí)會(huì)取代所有其他的算法工具呢？

不一定。對(duì)于許多應(yīng)用，比較簡(jiǎn)單的算法反而更有效，比如邏輯回歸和支持向量機(jī)。盡管對(duì)于某些監(jiān)督學(xué)習(xí)算法來說，深度學(xué)習(xí)可能會(huì)促使傳統(tǒng)方法走向滅亡。但也有變通的解決方案，比如，可以增加訓(xùn)練數(shù)據(jù)集規(guī)模使它適合深度學(xué)習(xí)算法。

為什么支持者們對(duì)深度學(xué)習(xí)如此興奮？

一個(gè)主要原因是，它是一個(gè)元算法，完全不同于線性模型或核模型，比如邏輯回歸的支持向量機(jī)。這意味著深度學(xué)習(xí)不以任何損失函數(shù)為特征，也不會(huì)被特定公式限制。這使得該算法對(duì)科學(xué)家們更為開放，它能以比其他ML工具更好的方式進(jìn)行使用和擴(kuò)展。不可否認(rèn)深度學(xué)習(xí)是一種特征轉(zhuǎn)換的學(xué)習(xí)。

深度學(xué)習(xí)是我們目前擁有的最具人腦特征的算法嗎？

如果一些分析師說，深度學(xué)習(xí)更像人腦而其他的ML工具卻不是——那他們沒有說清全部的事實(shí)。如果你聽說過 Numenta，你就會(huì)知道我為什么說這個(gè)。Numenta皮層算法是基于層次時(shí)間記憶 (HTM)的，它繼承了稀疏分布式記憶的最初概念，一個(gè)學(xué)習(xí)人類長(zhǎng)期記憶的數(shù)學(xué)模型。Numenta是如何做到更好的呢？它的特征提取既可以實(shí)現(xiàn)時(shí)間上的模式提取（但深度學(xué)習(xí)不能）也可以實(shí)現(xiàn)計(jì)算空間維度上模式提取——給它一個(gè)類似人腦的模仿。也可以有稍微不同的理解方式。Numenta稀疏分布式存儲(chǔ)器采用二進(jìn)制數(shù)據(jù)表示（通常為10000位），激發(fā)它們學(xué)習(xí)數(shù)據(jù)并用稀疏的方式表示（它因此得名）。該算法比較數(shù)據(jù)位，并試圖找到位的模式并搜索匹配值。相比之下，深度學(xué)習(xí)使用浮點(diǎn)向量（通常為每個(gè)數(shù)據(jù)100個(gè)元素），并結(jié)合梯度下降之類的算法在多層網(wǎng)絡(luò)上學(xué)習(xí)數(shù)據(jù)表示。

鑒于此，我經(jīng)常發(fā)現(xiàn)深度學(xué)習(xí)和Numenta之間存在不合理的爭(zhēng)辯。首先，讓我們看看支持者的觀點(diǎn)。起初，一些人認(rèn)為Numernta中并沒有很多學(xué)習(xí)過程。其他人發(fā)現(xiàn)了用于無監(jiān)督學(xué)習(xí)的Numenta HTM APT算法，據(jù)稱與深度學(xué)習(xí)算法相比有明顯的優(yōu)勢(shì)。Numenta也被認(rèn)為是精簡(jiǎn)內(nèi)存要求的在線機(jī)器學(xué)習(xí)算法。事實(shí)上Numenta也正日益受到重視。今年四月，IBM建立了一個(gè)研究組測(cè)試Numenta。但更大而且經(jīng)常被忽略的事實(shí)是，深度學(xué)習(xí)是多層模型。即使不是所有情況，那大多數(shù)情況下也是，神經(jīng)網(wǎng)絡(luò)模型通常一次只能解決一個(gè)問題類型。對(duì)于多類型問題，神經(jīng)網(wǎng)絡(luò)就需要使用集成或混合模型。而且在這方面深入學(xué)習(xí)的多層模型有顯著優(yōu)勢(shì)，這是其他工具做不到的，包括Numenta。然而，也有Numenta的多層模型的關(guān)于時(shí)序統(tǒng)籌的思辨語義和HTM的感知擴(kuò)展。

無論結(jié)果是什么，這都是能讓所有人很感興趣的時(shí)代。毫無疑問，各種技術(shù)和工具都將繼續(xù)發(fā)展，而且這場(chǎng)辯論可能會(huì)在未來幾年里發(fā)生非常大的轉(zhuǎn)折。旨在尋找數(shù)據(jù)意義的科技公司和數(shù)據(jù)收集者推動(dòng)了各種工具的發(fā)展，無論是移動(dòng)應(yīng)用程序開發(fā)人員或傳感器的主人。用戶永遠(yuǎn)更喜歡速度更快的，更簡(jiǎn)便的工具。深度學(xué)習(xí)因這些特性而更有優(yōu)勢(shì)，這也是它絕對(duì)需要保持的地方。