獨家專訪高通副總裁Max Welling教授：領會因果關係才能泛化智能

????點擊上方藍字星標“Robinly”，獲取更多NeurIPS重磅訪談

Robin.ly 是立足硅谷的視頻內容平臺，服務全球工程師和研究人員，通過與知名人工智能科學家、創業者、投資人和領導者的深度對話和現場交流活動，傳播行業動態和商業技能，打造人才全方位競爭力。

Robin.ly在NeurIPS2019現場特邀阿姆斯特丹大學機器學習研究主席、高通荷蘭公司技術副總裁 Max Welling，分享他六篇被收錄的論文亮點，以及他對分佈式機器學習、邊緣計算以及歐美在 AI 研究之間差異的獨到見解。

Max Welling 教授（左）在NeurIPS 2019大會接受Robin.ly專訪

Welling 教授在機器學習、計算機視覺、深度學習、貝葉斯推理、生成建模和圖卷積網絡方面發表了 300 多篇同行評審文章。他曾在烏得勒支大學（Utrecht University）諾貝爾獎獲得者 Gerard’t Hooft 的指導下獲得了量子物理學博士學位。

他同時也是歐洲學習和智能系統研究機構（European Laboratory for Learning and Intelligent Systems, ELLIS）的董事會成員之一。ELLIS受加拿大高級研究院（CIFAR）啓發，旨在吸引和留住歐洲頂級AI人才，並提高歐洲作者對AI研究的影響。在2019溫哥華NeurIPS會議上，ELLIS還與CIFAR的“機器與大腦學習”計劃簽署了意向書，該計劃由深度學習先驅Yoshua Bengio和Yann LeCun 共同執導。

從左到右：Yoshua Bengio、Bernhard Schoelkopf、Nuria Olivier、Matthias Bethge、Max Welling、Sami Kaski、Sepp Hochreiter以及Yann LeCun。來源：ELLIS

以下爲完整訪談視頻，點擊“閱讀原文”獲取英文實錄：

NeurIPS 2019 的論文亮點

Margaret Laffan: Welling 教授，今年您有六篇論文已經被 NeurIPS 收錄。能不能跟我們介紹一下其中的亮點？

Max Welling:

說實話，很難取捨。不過我想強調其中兩篇論文，它們的主題比較相似。其中一篇曾經在快速 MRI 競賽中獲勝，該競賽的目的是利用更少的觀察次數來預測高分辨率的 MRI 圖像，可以顯著縮短患者在 MRI 機器中的停留時間，從而降低成本。更令人興奮的是，現在也有可以實時成像的 MRI 機器，能夠同時進行放射治療，例如癌症。我們希望擁有一個能夠隨着患者呼吸而移動的系統，實現精確打擊目標組織，而不會誤傷健康組織。我們帶着這個目的參加了比賽，目標是將 MRI 圖像的重建速度提高八倍。相關論文題目是《Invertible Recurrent Inference Machine》，其核心觀點是在人們使用傳統的壓縮傳感（不需要從其他數據中學習的另一種技術）之前，就使用深度學習技術進行重建。我們非常成功地使用了這一方法，在本次 NeurIPS 大會上也進行了詳細介紹。

另一篇相關論文則試圖應用這一理念來完成一項任務。目前有許多經典的工程解決方案，但效果暫時還達不到人們的期望，畢竟人類的想象力是有限的。但我們不能借此拋棄由人建立的模型，而是要使用深度學習來糾正其中的錯誤。我們也在另一篇論文中探討了圖形模型，並搞清了如何在這種情況下做到這一點。

MRI，來源：Wikimedia

機器學習領域的趨勢

Margaret Laffan: 您在過去十年中觀察到機器學習領域的趨勢和挑戰有哪些？

Max Welling:

就像其他任何領域一樣，機器學習的很多概念和技術也經歷了興衰。一個領域的潮流通常會維持五到十年。我也從早期關注圖形模型和獨立成分分析開始，過渡到關注支持向量機、非參數方法、貝葉斯方法和非參數貝葉斯方法，再到深度學習。我認爲這很好，因爲我們一直在把重點放在新的、非常有前途的工具上，並且不斷努力從中獲得最大收益，再由後人不斷完善。

邊緣計算

Margaret Laffan: 您之前的初創公司 Cypher 在 2017 年被高通公司收購。邊緣計算（edge computing）是一個很熱門的話題，您對此有什麼看法？使用邊緣計算對成本有什麼影響？

Max Welling:

我們身邊的很多數據是以非常分散的方式收集的。我們未必希望與大公司實時分享所有數據，以換取他們的服務。我們可以利用聯邦學習（Federated Learning）、分佈式學習或邊緣計算，將數據從雲端轉移到本地設備儲存，並以分佈式的方式訓練模型而無需共享。如果必須在雲端共享某些內容，我們會對數據進行干擾或執行類似的操作以保護隱私。除此之外，我們還要考慮延遲等其他的問題。比如在遇到緊急情況時，出於安全考慮，我們也要儘量進行本地操作以減少雲可能造成的延遲。以上是使用邊緣計算的兩個比較主要的原因。我們希望圍繞着可靠性，減少延遲和私密性進行大量數據的計算和存儲。

說到成本，我認爲邊緣計算的擴展性很好。我更擔心在雲端運行龐大的神經網絡的成本。因爲人們普遍認爲，神經網絡越大越好，即投入的計算量越大，製作出的模型就越大，性能也就越好。但人們有時依舊對此類模型的可行性存在質疑。如果使用更復雜的模型，從企業的角度來講，收益和投入不成正比，難以持續下去。因此，我們要想辦法減小模型的規模，對其進行量化並降低精度，以便在更廉價的設備上運行。比如我們都有手機，與其在夜間把它放在插座上充電，能不能讓它同時運行一個模型，一邊進行計算，一邊將電能轉化爲熱能，順便給房間供暖呢？這其中涉及到了非常有趣的協同作用。如果我們搭建了一批 GPU，分佈在房間的各個角落進行計算，就構成了一個網絡，可以通過在設備上進行計算來調節室溫。所以我認爲這是一個更具擴展性的模型。

邊緣計算圖示，來源：Wikimedia

學術研究和商業化的差距

Margaret Laffan: NeurIPS 代表了世界上最好的 AI 學術研究。自 2015 年以來，您一直在擔任 NeurIPS 的董事會成員。您如何看待這個大會在過去四年中的演變？

Max Welling:

首先，這個會議的規模呈現了顯著的增長，也發生了一些有趣的變化。去年，我們把會議名稱從“ NIPS”，改成了“ NeurIPS”，因爲舊的名稱已經不適應社會的發展潮流和公衆的認知。另外在今年，爲了使會議更具包容性，很多少數羣體也舉辦了自己的分會，例如 “Black in AI”，“Women in AI”，“LatinX in AI”以及“Queer in AI”，這是非常好的現象。所以我認爲我們在過去一年中取得了很大的進步，包容性成爲了 NeurIPS 一個重要的主題。

Margaret Laffan: 您認爲當前的學術研究和商業化之間存在什麼樣的差距？

Max Welling:

學術研究和商業化的差距正在逐步縮小。我有一半的時間都在高通工作，也能夠直接觀察到，一天之內 arXiv 上的學術論文如何在研究人員和公司的努力下完成具體的實施。這是一種非常有效的機制，可以將學術界的研究成果轉移到工業界。同時，工業界也在向學術界過渡。很多公司僱用了研究性人才，建立自己的研究實驗室並提供論文和實驗結果，更研發了 TensorFlow 和 PyTorch 等開源軟件。同時，公司也像許多項目主席和董事會成員一樣，參與組織會議。因此從某種意義上講，大家都在用不同的方式貢獻自己的力量。

歐美地區的學術差異

Margaret Laffan: 您在歐洲和北美都做過一段時間的 AI 研究。能否分享一下這兩個地區做學術的差異和相似之處？

Max Welling:

這個問題很有意思。我認爲研究領域存在兩種模式，一個是盎格魯·撒克遜模式（Anglo-Saxon model），一個是歐洲大陸模式。我認爲英國採用的更接近盎格魯·撒克遜模式，也就是說，助理教授可以建立自己的研究小組，並完全獨立地發展這個小組，當然還要自己負責申請科研基金。我認爲這是一個非常好的模型，爲新的研究者提供了更多的自由。

採用歐洲大陸模式，更常見的是一個由副教授和助理教授組成的，具有某種金字塔結構的層次化模型。這樣做的好處是團隊成員可以更加團結一致，共同解決一個非常大的問題；缺點是會削弱新人的研究自由度。我認爲，作爲高級研究人員，傾聽年輕人的聲音非常重要，他們能夠帶來新的想法和研究方向，不應該受困於資深人士已有的研究領域。因此，從這個角度來說，我更喜歡盎格魯-撒克遜模式。