AI開發者大會：2020年7月3日09:50--10:10唐傑《人工智能的下一個十年》

導讀：人工智能的第三次浪潮中，超越深度學習—ML和DL需要結合符號AI；自監督學習將會大放異彩。

Next10——認知與推理：大數據+知識+智能，從感知到認知；認知圖譜，算法與認知科學的結合。知識圖譜，認知推理，邏輯表達。

Next30——意識(讓計算機具有自我意識)：認知與推理+記憶+自我意識。有監督、無監督、強化、注意力，結合fine-tune可以實現全局工作理論。

博主評論：說實話，正好與博主前段時間被採訪時所說的看法不謀而合，博主當時在展望AI未來的時候，就特別強調了無監督學習的重要性，以及在走向強AI的路上，非常有必要對AI+意識進行深度探討與分析。

2020年7月3日09:50--10:10唐傑《人工智能的下一個十年》

人工智能的第三次浪潮

AI趨勢：從感知到認知

回顧機器學習

2018年的預訓練模型BERT

自監督學習——MoCo

無需標記樣本，即可學習圖形表示
Momentum contrastive learning
效果甚至超過有監督學習結果

第三代人工智能

第一代——符號Al：符號模型／規則模型／感知機。
第二代——感知智能：大數據驅動的統計學習方法初步實現了針對文本、圖像、語音等的感知與識別。
第三代——認知智能：張拔院士2016年提出第三代人工智能雛形，DARPA 2018 年發佈Al Next計劃。核心思路是推進統計與知識推理融合的計算；與腦認知的融合。
目前急需的是高質量超大規模知識圖譜（Al的基礎設施）以及對知識的理解能力（面向認知的深度學習算法)。

超越深度學習—ML和DL需要結合符號AI

算法是核心，計算機、數據是基礎

認知圖譜(Cognitive Graph) 一知識圖譜，認知推理，邏輯表達

認知圖譜：算法與認知的結合

Question: Who is the director of the 2003 film which has scenes in it filmed at the Quality Cafe in Los Angeles?
提問：誰是這部2003年的電影的導演，這部電影的場景是在洛杉磯的Quality咖啡館拍攝的?

和認知科學的結合

認知圖譜的推理模型

System 1: 一Knowledge expansion by association in text when reading
System 2: 一Decision making w/ all the information

認知圖譜的推理模型：System1 VS System2

認知圖譜的推理效果

挑戰與未來

Next10——認知與推理：大數據+知識(Knowledge)+智能(Intelligence)

Next30——意識(讓計算機具有自我意識)：認知與推理(Reasoning)+記憶(Memory)+自我意識(Consciousness)

意識：全局工作理論——GWT

以下觀點來自Carnegie Mellon University的圖靈獎得主Manuel Blum的分析

有意識學習：所謂的有意識學習，就是有目標的機器學習，給定數據，訓練一個模型，通過模型進行分類（決策），所以有意識學習輸出是一個短期記憶模型，但這個短期記憶模型比較簡單：數據有限、無背景知識。
無意識學習：所以無意識就對應着長期記憶模型，長期記憶模型有點類似半監督或者無監督學習模型，或者當下比較流行的預訓練和自監督學習；無意識處理對應多種長期記憶，所以無意識可以考慮多個不同的處理器，這些處理器之間可以有鏈接，也可以沒有，很多時候是並行處理，
但針對特定任務，比如有意識思考某個問題的時候，形成特定連接，包括無意識處理器（無監督模型）和有意識處理器（有監督模型）之間的連接，這裏可以考慮成fine-tune。當然連接權重可以通過外界反饋強化學習來實現。無意識處理器之間的連接以及和有意識處理器之間的連接可以類比爲注意力機制。
最後值得注意的是長期記憶的構造和實現，人腦記憶保存的是模型圖，而不是概念圖。每個長期記憶都可能是一個模型，可以生成樣本，具體學習方法，可以想象一下是一個層次聚類。通過這樣就可以用有監督、無監督、強化、注意力、fine-tune來實現GWT模型。