互聯網世界的“人工智能”——探祕“深度學習”的前世今生
編者按：本文來自“流浪漢”投稿（@ZhangLumin），一個在硅谷工作的碼農，有機器學習背景，平常對產品方面很有興趣。最近一段時間裏，Facebook、Google、Yahoo!、百度等各大公司都在嘗試將深度學習（deep learning）算法運用到產品開發中，以期使產品更智能化，提升用戶體驗。在深度學習持續走紅的當下，"流浪漢"對這一概念做了梳理，並分享了他對深度學習的實用性及未來發展的看法。
本週一，加利福尼亞州的 Lake Tahoe。Facebook CEO Mark Zuckerburg 造訪了神經信息處理系統（Neutral Information Processing Systems, 下文簡稱 NIPS）舉辦的“深度學習研討會”（Deep Learning Workshop）。Zuckerburg 在研討會上宣佈，紐約大學數據科學中心的 Yann LeCun 教授將兼任Facebook人工智能實驗室（Artificial Intelligence Lab, AI Lab）的主管。
Facebook AI Lab 於今年下半年正式建成，其網絡覆蓋紐約、倫敦以及 Facebook 加州門羅帕克總部三地。AI Lab 旨在投入研發精力，探索人工智能的分支之一：深度學習（deep learning）。藉此，Facebook 希望在未來能給用戶提供更智能化的產品使用體驗。
此消息一出，立刻成爲機器學習頂級會議 NIPS 本年度會議上一道引人注目的風景，同時也爲近兩年大熱的深度學習再添火一把。據悉，Google 於近日僱傭了未來學和人工智能專家Ray Kurzweil擔任其人工智能計劃的工程總監，微軟最傑出的工程師之一、Bing Mobile 和 Bing Maps 開發的關鍵人物Blaise Agüera y Arcas 也已加盟 Google的機器人學習團隊。IBM 也在深耕深度學習，旗下的超級計算機Watson憑藉“高智商”已經在華爾街花旗集團找到了一份工作，負責證券投資組合管理。今年 10 月，雅虎收購了圖片分析初創公司LookFlow，計劃提升 Flickr 的搜索及內容發現體驗。
那麼，到底什麼是深度學習？靠譜嗎？對廣大創業者來說，其中究竟存在怎樣的機會？在下文，我會嘗試梳理一下關於深度學習的概念，並分享一點個人的思考。
正如 Zuckerburg 所澄清的那樣，Facebook（及本文所討論）的人工智能是計算機科學中狹義的人工智能，並沒有人工建造人腦那樣的野心。這種人工智能，是基於數學（統計）進行問題求解的機器學習算法（machine learning algorism），即我們常常提到的大數據時代的算法核心。機器學習無處不在：互聯網廣告投放、網絡傳播、趨勢預測、機器人研發、計算機視覺、搜索、自然語言理解，以及生物信息識別等都離不開機器學習。這也是諸多大公司在這個領域頻頻投資的主要原因。
深度學習是怎麼火的？
什麼是深度學習（deep learning）？說白了，就是人工神經網絡（Artificial Neural Network，以下簡稱 ANN）這個舊瓶裝了新酒。
人工神經網絡包含輸入層、輸出層以及中間的若干隱層（hidden layer），每層都有若干結點及連接這些點的邊，在訓練數據集上會學習出邊的權值，從而建立模型。隨着邊所表徵的函數的不同，可以有各種不同的神經網絡。這種源於人工智能中聯結主義學派（connectionism）的方法在上世紀七八十年代盛極一時。John Hopfield，Geoffrey Hinton 和 Yann Lecun 等多位學者都對 ANN 頗有研究。
然而不幸的是，和學術論文中鼓吹的不同，在諸多工程領域中，人們發現 ANN 並沒有表現出比其他經典算法更好的性能。究其原因，由於巨大的計算量和優化求解難度，ANN 只能包含少許隱層，從而限制了性能。控制領域仍然在使用經典的 PID 調節，而在機器學習領域，隨着以支持向量機和貝葉斯網絡爲代表的統計學習在 90 年代的興起，ANN 開始倍受冷落。
Geoffrey Hinton 曾感慨自己的學術生涯就像 ANN 一樣起起伏伏。所幸的是，這位 Gatsby 的創立者一直沒有放棄 ANN 的研究。從 06 年開始，他陸續開始發表關於如何改進 ANN 的文章，主要是通過很多數學和工程技巧增加隱層的層數，也就是深度，所以被稱爲深度學習。雖然 Hinton 的觀點沒有得到足夠重視，成爲主流共識，但大家開始更加關注這一領域。
08 年 NIPS 基金會沒有批准 Deep Learning 的研討會申請，結果組織者自行開會，會場爆滿。除了一直沒有放棄的 LeCun 等人，這一領域還吸引來了 Stanford 機器學習的教授、Coursera 創始人 Andrew Ng。Ng 的研究組，率先做出了和現有最高水平相提並論的結果。後來, 大家一步步推進，深度學習在很多實際評測中遙遙領先，一下就火了。
深度學習主張，如果 ANN 的隱層足夠多，選擇適當的連接函數和架構，並增加一個非監督學習的“pre training”網絡組成，就會具有更強的表述能力，但常用的模型訓練算法反向傳播（back propagation）仍然對計算量有很高的要求。近年來，得益於計算機速度的提升、基於 MapReduce 的大規模集羣技術的興起、GPU 的應用以及衆多優化算法的出現，耗時數月的訓練過程可縮短爲數天甚至數小時，深度學習纔在實踐中有了用武之地。
在計算機視覺領域，深度學習首先在手寫識別領域表現出衆。2012 年，在物體識別（被譽爲計算機視覺聖盃）的權威測試 Imagenet Challenge 中，深度學習遙遙領先於其他經典算法（16% VS 26%），吸引了無數眼球。紐約大學計算機科學系副教授 Rob Fergus（和 Yann LeCun 一起加入 Facebook AI Lab）的學生 Matthew Zeiler，創立了一家提供圖像搜索服務的公司——Clarifai。他的深度學習算法在本月剛剛結束的 ICCV Imagenet Challnge 2013 中，繼續領先於其他算法。
深度學習產品化的浪潮中，科技巨頭機會更大
Google 研究員 Ilya Sutskever 最近表示，如果數據足夠多、計算能力足夠強、人工神經網絡足夠深，即便不加“pre training”預處理，也可以取得目前最好的結果，這充分證明，目前的深度學習對標註數據量和計算能力都提出了很高的要求。
目前更像是巨頭們的遊戲。Google 和百度都已在自己的圖像搜索中部署了深度學習技術。Google 在內部多個項目組推廣深度學習平臺，而百度也將深度學習算法運用到了語音等多個產品中。今年 5 月，前 Facebook 資深科學家徐偉加盟百度深度學習研究院（Institute of Deep Learning, IDL）。在這次 NIPS“深度學習研討會”上，IDL 還設立了展臺，它在深度學習方面的研究成果在學術界也越來越有影響力。
最近，Facebook 在人工智能領域動作頻頻。Zuckerburg 和俄羅斯富豪尤里一起創立了 300 萬美元獎金的 Breakthrough Prize in Mathematics，可謂與 AI Lab 的設立一脈相承。擁有海量數據的互聯網巨頭中，Google 收購了 Geoffrey Hinton 的創業公司 DNNResearch（一家專注於語音和圖像識別技術的研究公司）, 百度挖來餘凱老師創立了 IDL 研究院，IBM 研究院 Watson 電腦開始研究深度學習相關技術，微軟研究院鄧力老師率先把深度學習應用在語音識別中，Yahoo 收購了 LookFlow 來創建深度學習小組，Amazon 在柏林創立了機器學習研究中心……
這一系列行動，無論是出於戰略防禦，還是單純被深度學習吸引，一個無法否認的事實是：深度學習產品化的熱潮已經撲面而來。
深度學習有侷限性，初創公司應理性選取機器學習算法
有些人覺得深度學習似乎沒有理論深度，其實不然。查閱一下 Geoffrey Hinton 的論文，其中用到的理論很深刻，數學技巧也很複雜，深度學習的理論門檻較高。但是好消息是，以 Hinton、Yoshua Bengio 爲首的研究組開放了越來越多的源代碼，包括 GPU 的實現，而且多種不同算法的開源實現也被公開，所以算法實現的門檻已經降低了很多。
對於創業者來說，困難在於如何獲取大規模已標註數據、集成有 GPU 的計算集羣以及針對自己的項目調參數。調參數一直是深度學習被學術界詬病的話題，早期只有幾個圈內的小組掌握着調參數的祕方和數據處理的技巧。目前的深度學習參數調節已經比之前透明化了許多，但仍是開發過程中最爲耗時的一部分。
目前主打深度學習的創業公司並不是很多，除了被Google收購的DNNResearch，Hinton 的另外一個學生最近在倫敦組建了 DeepMind，也在 NIPS 研討會上進行了展示，他們使用深度學習改進了傳統的強化學習，以尋找優秀的策略來打遊戲，算法的表現和人的策略很相似。
但是，深度學習算法能夠成功運行的前提仍然是，項目能夠採集到充分大的標註且數據維度足夠高或者你的想法足夠通用。有了大數據樣本才能緩解複雜模型的過度學習（overfitting）。從某種意義上說，這也給了其他機器學習算法很多機會。比如說，因爲隱私原因，服務企業的大數據平臺就很難應用深度學習，
深度學習的另一侷限性是可解釋性不強，即便是一流的學者也很難對效果超羣的深度學習算法在具體問題上給出具體解釋。這有可能成爲產品迭代過程中的阻礙。深度學習本身是支持在線學習和數據流，但是相關理論尚待完善。如上所述，深度學習目前主要集中於監督學習，在非監督學習領域，除了 Google 前一段時間公佈的用於自然語言處理的 word2vec，還沒有很出彩的工作。
從深度學習的研究者身上，我們可以看到，一個好的研究者要對自己的研究有足夠強的信念。正如馬雲所說，好的創業者要堅持自己的信念，而不是盲目跟風。我前不久遇見了 Aria Haghigh，他是 Prismatic 這個創業公司的創始人，同時也是一位名校畢業、成果卓著的機器學習研究者，放棄了教職出來創業。他也懂深度學習，但是對於他的產品和數據來說，他說深度學習並不是首選，因爲數據的特性不同。
Prismatic 其實用的是 Logistical Regression 的算法，這一算法相對成熟，不過依然有很多地方可以優化。他們甚至自行創建了分佈式系統，而不是使用 Hadoop。事實上，目前諸多搜索引擎和社交網絡的廣告系統都是以 Logistical Regression 的算法爲基礎的，相關產品的體驗和速度都非常棒。樸實的算法，花同樣的時間去調參數，對產品已經足夠了，因爲用戶是不會察覺準確率上百分之零點幾的差別。
此外，每個人對人工智能都有自己的見解。比如，Peter Thiel 投資了 Machine Intelligence Research Institute——這個研究機構對於目前主流的機器學習算法不滿，試圖從交叉學科的角度，創建更接近人、更友好的智能。
歷史不會重演，卻常常驚人得相似。翻開 Yann LeCun 的簡歷，這並不是他第一次投身工業界。他曾經是 AT&T 實驗室（Bell 實驗室拆分後留在 AT&T 的部分）圖像處理組的負責人，並試圖硬件化人工神經網絡，後來由於公司策略調整，整個研究組被裁，他才挪移到紐約大學任教，繼續自己獨樹一幟的研究（曾贏得國防部的合同）。
這次，他終於等到了深度學習（deep learning）的復興，接受了 Facebook 的工作邀約再次迴歸工業界。之所以會聘請 LeCun 等高校教授回到業界，是因爲深度學習在實踐中確實取得了效果，而公司之前也僱傭過這些教授麾下的學生，合作下來都很愉快。
誰也不知道深度學習是否會像其他算法一樣進入瓶頸期。如何把深度學習運用到產品中，將產品智能化，提升用戶體驗——這越來越受到公司的關注。