上週，OpenAI推出的新通用語言模型GPT 2.0引起了一場風暴。該模型被稱爲“史上最強通用 NLP 模型”，可以生成連貫的文本段落，刷新了7大數據集基準，並且能在未經預訓練的情況下，完成閱讀理解、問答、機器翻譯等多項不同的語言建模任務。
然而，由於OpenAI沒有將之開源的計劃，很快被技術社區聲討。這股討論的浪潮延續至今，討論的重心從不開源的決定是否正確，轉移到模型本身是否被過譽，直至今天，有人質疑這條新聞引發病毒式傳播可能只是一場秀。
GPT 2.0不開放引發社區聲討
近日，由非營利性人工智能研究公司 OpenAI 創建的一種新語言模型 GPT 2.0 正在醞釀一場風暴，在技術社區和社交網絡引起了廣泛討論。讓人哭笑不得是， OpenAI 稱，因爲這個文本生成器性能太好了，他們擔憂這項技術會被濫用，因此決定暫不將該模型開源。
隨後，整個世界爲之瘋狂，這條新聞成爲了媒體上最熱門的消息，一時間各種報道蜂擁而來。
這些報道包括OpenAI 將其私有化的做法激怒了社區中的一些人，指責這違背了該公司開放其研究的承諾。
在過去的幾天裏，社區中的一些著名研究人員抨擊了OpenAI。其中巴伊蘭大學計算機科學系高級講師 Yoav Goldberg，加州大學伯克利分校助理教授 Ben Recht 以戲謔的口吻批判，英偉達機器學習研究院主任 Anima Anandkumar 則發表了更爲嚴厲的批評，指責實驗室使用“太危險而無法發佈”的說法只不過是吸引媒體關注的誘餌。
這裏說明一下，我們的實驗室在語言理解方面取得了重大突破，但是我們擔心它會被濫用，所以決定將其分割，只發布其中的“ACL”。感謝團隊的貢獻。
PS：目前論文還在arxiv審覈中，這或者是因爲終版pdf太大，或者arxiv和OpenAI 一樣，認爲所有AI/ML研究發佈太過危險。
這就是一個非黑即白的問題。你們在利用媒體炒作語言模型。關於這個話題的研究有很多。你們聲稱研究結果效果驚人卻只讓記者瞭解箇中詳情。應該有知情權的是研究人員而不是記者。
但也有人持更加寬容的態度，稱此舉是一個“新的道德標準”，可以在可能的濫用發生之前進行充分思考。
OpenAI的政策主管Jack Clark 迴應稱，該組織的首要任務是“杜絕惡意或濫用該技術”，“取得平衡非常艱難”，不開放數據、模型和源代碼是因爲擔心有人利用該技術假冒他人或製造假新聞。
馬斯克迴應爭議，重申已離開OpenAI
隨着OpenAI陷入口水仗，OpenAI的資助者之一埃隆·馬斯克（Elon Musk）也陷入了爭議之中。對此，馬斯克堅決表示“這鍋我不背！”在今天的一條推文中，他表示“沒有參與OpenAI公司事務已超過一年”，目前它專注於特斯拉和SpaceX的管理。他表示，由於與OpenAI 團隊在一些問題上意見不合，他與該公司已經“和平分手”，疑似迴應與GPT 2.0相關的爭議。
看到這裏，GPT 2.0 引發的爭議還真是不少。那麼，除了上面的熱鬧之外，我們透過現象看本質，真正應該關心的是這些問題：GPT 2.0是什麼？GPT 2.0是否被過度讚譽？以及這條新聞的火熱是否只是一場炒作？
問題1：GPT 2.0是什麼？
首先，GPT 2.0是什麼？這個模型是否真的有那麼神奇？
簡單來說，爲進行推理，語言模型將概率分配給單詞序列。 通常，他們通過鏈規則表達這種概率，作爲每個單詞概率的乘積，以其前因
爲條件。或者，人們可以向後訓練語言模型，從後向前預測每一個詞。 在訓練語言模型之後，通常1）使用它從左到右迭代解碼來生成文本，或者2）將其微調到一些下游監督學習任務。
訓練大型神經網絡語言模型並隨後將它們應用於下游任務已經成爲當代NLP研究一項非常耗費資源的任務。
在 2018 年的NAACL，AllenNLP發佈了ELMo（https://allennlp.org/elmo），這是一個由10億字benchmark訓練的大規模前向和後向語言模型組成的系統。他們證明了該模型可用於在許多下游任務中實現最優性能。
隨後，谷歌研究人員發佈了BERT（https://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html），這是一個使用Transformer架構，與語言建模目標略有不同的填空學習目標模型。
如果你從事NLP領域的工作，在過去一年中可能聽到“ELMo”和“BERT”的次數比聽到自己的名字還多。在NLP文獻中，由於這些技術的普及，它們已成爲名副其實的停用詞。
AI前線注： 停用詞Stop Words，是指在信息檢索中，爲節省存儲空間和提高搜索效率，在處理自然語言數據（或文本）之前或之後會自動過濾掉某些字或詞。
12月，Google的Magenta團隊研究深度學習的創新性應用，將Transformer架構應用於“語言建模”任務，生成了音樂而不是文本（https://magenta.tensorflow.org/music-transformer）。成果的連貫性非常可喜。
快退到週四：OpenAI在一個名爲WebText的大型新數據集上訓練了一個大型語言模型，該數據集包含爬取自4500萬個鏈接的數據。研究人員構建了一個有趣的數據集，使用現在標準的工具，生成了令人印象深刻的模型。經過在許多下游零射擊學習任務上進行評估，該模型通常優於以前的方法。同樣值得注意的是，與Music Transformer的結果一樣，生成的樣本似乎比以前的結果更連貫。這樣的結果很有趣，但並不令人驚訝。
它們代表着NLP向前邁出的一步，整個社區已經走上了這條道路。
問題2：GPT 2.0是否被過譽？
其實，GPT 2.0雖然一夜爆紅，但卻不是一日之功，GPT 比 BERT 還更早出現，但卻沒有像 BERT 一樣一出世就受到廣泛的關注。
本質上來說，GPT 2.0 的大框架其實還是 GPT 1.0 的框架，但是把第二階段的 Finetuning 做有監督地下游 NLP 任務，換成了無監督地做下游任務，最大的改進就在於把 Transformer 模型參數擴容，參數規模達 15 億，這個規模前所未有。有關 GPT 2.0 和 GPT 1.0 更詳細的信息，請參考《效果逆天的通用語言模型GPT 2.0來了！它告訴了我們什麼？》。
總的來說，GPT 2.0 作爲語言模型，用來生成自然語言句子或者段落的能力特別強，這從OpenAI 官博上放出的生成示例就可以看出：
“回收對世界不利。這對環境有害，對我們的健康有害，對經濟不利。我不是在開玩笑。回收利用對環境不利。它對地球具有破壞性，是全球變暖的主要原因。回收利用對我們的健康不利。它導致肥胖和心臟病和癌症等疾病。回收利用對我們的經濟不利。它增加了產品的成本，反過來又提高了產品的價格。回收利用對我們國家不利。我們爲擁有世界上最先進和最有效的回收系統的特權付出了巨大的代價。回收浪費了大量時間、精力、金錢和資源。“
回收對世界有益，幾乎每個人都同意這個觀點，但是GPT 2.0 反其道而行，難怪 OpenAI 擔心發佈模型會導致這項技術被濫用。
在前面提到的文章中，新浪微博資深算法專家張俊林表示，對於 GPT 2.0 的改進方向來說，如何加入情節約束，產生特別好的生成文章，這是個很有前途的方向。而在這點上，GPT 2.0 的貢獻是給我們指出了一條路，就是 Transformer+ 刷數據量，省心省力費機器的一條路。另外，Transformer 之前在語言模型上通常做不過 RNN，雖然有後續研究表明它可以達到 RNN 類似的效果，但是 GPT 2.0 無疑進一步突破了這個障礙，爲 Transformer 的進一步攻城略地打下了堅實的基礎。
從這一角度來說，GPT 2.0的性能不能被認爲是過度讚譽。
問題3：OpenAI 是否在炒作？
那麼，OpenAI 不公開數據和源碼究竟是不是如上文Anima Anandkumar所說是一場炒作呢？一方面，OpenAI 經常談到他們對“AI”技術落入壞人手中的擔憂，結合這個模型生成的假文章，他們的擔憂似乎合理。另一方面，OpenAI 向來喜歡譁衆取寵，經常通過官博將不成熟的工作推向公衆視野以博取關注。
這些例子包括誘導《紐約時報》報道了其本質上平平無奇的發現，即如果強化學習用了錯誤的目標函數，就學不到讓你滿意的策略（https://www.nytimes.com/2017/08/13/technology/artificial-intelligence-safety-training.html）。
畢竟，這些重大故事與OpenAI博客上的新聞稿一脈相承，OpenAI可能會故意策劃了這麼一出，讓媒體大肆報道。
實際上，這項工作似乎是主流NLP研究的中間階段，這是一項很好的工作，也很可能會被公佈，在未來一兩個月內，同樣強大的NLP實驗室可能會出現同樣的成果。
也許，這篇博客會在媒體上形成病毒式傳播與當今新聞的供需生產模式有關，按需生產的新聞已經非常常見，官方PR博客已經成爲新聞生產的可靠消息源，從而廣爲傳播。
但筆者認爲，即使是使用了一些PR的手段，也掩蓋不了 GPT 2.0 出色的語言生成性能，一項好的研究成果首先應該被人所知，才能發揮應有的作用，而不是默默躲在黑暗的角落等待被髮掘。
參考鏈接：
http://approximatelycorrect.com/2019/02/17/openai-trains-language-model-mass-hysteria-ensues/
延伸閱讀
《效果逆天的通用語言模型GPT 2.0來了！它告訴了我們什麼？》
更多內容，請關注AI前線。
