最近研究AI理論，發現一篇Marcus Hutter關於入門學習AI技術提出的建議的文章。感覺很有啓發，特翻譯成中文與諸位童鞋共同分享。爲了避免翻譯時引入的歧義、錯誤，特別保留了英文原文，供大家對比着查閱。謝謝。
隨着人工智能在我們生活中的影響不斷增大，給我們的生活帶來了越來越多的便利。很多同學開始喜歡並想進入“人工智能”領域一試身手。以下是澳大利亞國立大學的Marcus Hutter關於入門學習人工智能的一些建議。
一、關於通用人工智能模型（AIXI）
首先，要了解AI基礎知識和建模的一般性原理及建議，請參見《通用人工智能——基於概率算法的序貫決策》(Universal Artificial Intelligence——Sequential Decisions based on Algorithmic Probability)【國內暫時沒這書 -_-!】；
其次，基於“序貫決策”（Sequential decision theory）和“索洛莫諾夫通用（一般性）歸納”（Solomonoff’s theory of universal induction）理論，澳大利亞國立大學的Marcus Hutter提出了AIXI模型，該模型的具體知識，請參見Marcus Hutter的論文《UNIVERSAL ALGORITHMIC INTELLIGENCE A mathematical top→down approach》；
事實證明，目前的技術水平下AIXI模型的理論意義大於實際技術實現意義。因爲AIXI模型的計算複雜度是δ（4）。就是說不僅這個模型是不可計算的，而且它的不可計算等級爲4（一般的停機問題爲δ（1））！也即是說目前只能採用可計算的模型來儘可能趨近AIXI模型的效果，目前熱門的deepmind，就是這個方法的先行者（deepmind的創始人是marcus hutter的博士）。
雖然AIXI模型目前暫時無法實際實現，但是作爲理論學習的指導是很有意義的，它通過這一個模型（公式），就可以概括深度學習、SVM、傳統邏輯、強化學習等各種理論。
AIXI模型的公式如下：
如果你對下文中“更多參考資料”的數量、種類、內容複雜度等方面有困惑，我建議你可以先翻閱Richard S. Sutton和 Andrew G. Barto編著的《強化學習》（Reinforcement Learning）。
在學習它之前不需要具備什麼背景知識。該書深入淺出的描述了一些關鍵思想，開放性問題，以及這個領域的大量應用示例。不要對這本“如此簡單”的書感到驚訝，它主要講解AI相關的基本知識和概念，而不是證明其在實際實現時的正確性。如果它裏面詳細講解在實踐中如何實現功能或者證明其理論的正確性，這會使本書非常晦澀難懂和不易學習。
學習了《強化學習》，對“人工智能”概念有了一定感性認識後就可以開始翻閱另一本由Stuart Russell和Peter Norvig編寫的人工智能專著《人工智能——一種現代的方法（第3版）》（去x寶購物平臺上隨便一搜就可以買到），它爲“通用人工智能”提供了更爲全面的講解和概括。最後，當你對“人工智能”有了基本瞭解並且具備一定理論知識基礎後，可以進一步學習由Li和Vitanyi 編著的關於算法信息論論文《柯爾莫戈洛夫複雜性》，它對“算法信息論”進行了極好的論述和證明。
當你通過上述學習已經具備一些基本的“決策理論”和“算法信息論”背景知識後，那麼你或許會對進一步深入研究“通用人工智能（Artificial General Intelligence/Universal Artificial Intelligence，AGI/UAI）”理論產生濃厚興趣。
二、更多參考資料
寫給急於開始“創建智能機器”的人：
如果你是一個急切的想馬上建立超級智能機器，而又不想浪費太多時間閱讀或學習的學生，那麼好吧，我可以坦率的告訴你：其他人在過去的50年裏也這樣嘗試過，失敗了，你也不會例外。如果你依然堅持這種做法，那麼至少要好好讀一下Shane Legg撰寫的《Machine Super Intelligence》一文。這是一篇優秀的非技術性論文，論述了超級智能機器的必要組成部分。但它並不會繞過你在一般性人工智能理論上缺失知識的問題，而幫你快速建立一個“縮減版”的實際存在的人工智能算法。然而，它可能會促使你考慮閱讀我現在爲你推薦的書籍。
For the impatient. If you are the sort of impatient student who wants to build super intelligent machines right away without "wasting" time reading or learning too much, well, others have tried in the last 50 years and failed, and so will you. If you can't hold back, at least read Legg (2008) [Leg08]. This is an excellently written non-technical thesis on the necessary ingredients for super intelligent machines.
It will not help you much building one, since in order to properly understand the general theory and to bridge the gap to "narrow" but practical existing AI algorithms, you need a lot more background. Nevertheless, [Leg08] might motivate you to consider reading the books I'll recommend now.
關於人工智能：
Stuart Russell和Peter Norvig編寫的《人工智能——一種現代的方法（第3版）》（去x寶購物平臺上隨便一搜就可以買到），是一本學習人工智能的課本。這本書提供了一個廣泛的可靠的關於人工智能全方位背景的內容介紹和概觀。該書在人工智能學習過程中的作用可以說是“無可替代”的。不管您以後專門從事人工智能哪一個分支領域的學習，您都應該理解它裏面所有引入的概念，而且至少要有能力實現並解決其中的一些練習題或課題。
書中關於認識和建立一般性智能模型的過程如下（如果您已經對這些知識有所瞭解，可以略過本部分）。
AI的基本行爲能力按縱向劃分，大致可分爲3方面：
（1）邏輯推理能力
（2）規劃能力
（3）學習能力
澳大利亞國立大學在上述3個領域都有專家。從歷史上看，在20世紀50年代，人工智能相關的許多具體的實際應用從機器的“邏輯推理能力”開始着手研究。然而至少在人類中，高層邏輯推理似乎是從更基本的“學習能力”和“規劃能力”方面出現的，可以想象“邏輯推理能力”在一般人工智能系統中不能起到根本的、決定性的作用。
所以我將專注於“規劃能力”和“學習能力”的研究。如果將這些內容相結合，在不確定性的前提下把“學習能力”、“規劃能力”放在一起，就能形成“強化學習（RL）”領域的主要理論基礎，這些理論在其他領域也被成爲“自適應控制”或“序貫決策”理論。
Artificial Intelligence. Russell and Norvig (2003) [RN10] is the textbook to learn about Artificial Intelligence. The book gives a broad introduction, survey, and solid background of all aspects of AI. There is no real alternative. Whatever subarea of AI you specialize later, you should understand all introduced concepts, and have implemented and solved at least some of the exercises.
The textbooks below are relevant for understanding and modeling general intelligent behavior. If you already got attracted to some specific AI applications, they may not be relevant for you. One axis of categorizing AI is into (1) logical (2) planning and (3) learning aspects. CSL@ANU has experts in all 3 areas. Historically, AI research started with (1) in the 1950s, which is still relevant for many concrete practical applications. Since at least in humans, high-level logical reasoning seems to emerge from the more basic learning and planning aspects, it is conceivable that (1) will play no fundamental role in a general AI system. So I will concentrate on (2) and (3). If put together, learning+planning under uncertainty is mainly the domain of reinforcement learning (RL), also called adaptive control or sequential decision theory in other fields.
關於強化學習：
Richard S. Sutton和 Andrew G. Barto編著的《強化學習》（Reinforcement Learning，RL）被公認爲是優良的RL教科書。
在學習它之前不需要具備什麼背景知識。該書深入淺出的描述了一些關鍵思想，開放性問題，以及這個領域的大量應用示例。不要對這本“如此簡單”的書感到驚訝，它主要講解“人工智能”相關的基本知識和概念，而不是證明其在實際實現時的正確性。如果它裏面詳細講解在實踐中如何實現功能或者證明其理論的正確性，這會使本書非常晦澀難懂和不易學習。
至此，如果你想進一步理順學習的方法和思路，並且出於好奇，你想更深的瞭解不同知識之間的關聯或將現有系統功能拓展的更通用、更強大，那麼，你就必須先學習一些起初看起來似乎毫不相關的、枯燥難懂的理論與概念。
Reinforcement Learning. Sutton and Barto (1998) [SB98] is the excellent default RL textbook. It requires no background knowledge, describes the key ideas, open problems, and great applications of this field. Don't be surprised about the ease of the book, it teaches understanding, not proofs. It gets really tough to make things work in practice or to prove things [BT96].
If you want to bring order into the bunch of methods and ideas you've learned so far, and want to understand more deeply their connection either for curiosity or to extend the existing systems to more general and powerful ones, you need to learn about some concepts that at first seem quite disconnected and theoretical.
關於信息理論：
智能中包含有很多信息處理過程。算法信息論（AIT）是信息論的一個分支，它有足夠的能力作爲智能信息處理的基礎。它主要可以處理智能、相似性、創造力、類比推理和概括等方面的內容，從根本上與“歸納問題”和“奧卡姆剃刀原理”相關聯。Li和itanyi編寫的《算法信息論》對上述內容進行了很好的介紹。學習這本書還需要具備的基礎背景知識有：Kolmogorov複雜性，最小描述長度，通用索洛莫諾夫歸納，通用萊文搜索等等。在此特別指出，這些基礎背景知識，可以從經典教材《Introduction to Automata Theory, Languages, and Computation》中獲取。
Information theory. Intelligence has a lot to do with information processing. Algorithmic information theory (AIT) is a branch of information theory that is powerful enough to serve as a foundation for intelligent information processing.
It can deal with key aspects of intelligence, like similarity, creativity, analogical reasoning, and generalization, which are fundamentally connected to the induction problem and Ockham's razor principle. Li and Vitanyi's (1997) AIT book [
LV97] provides an excellent introduction. Kolmogorov complexity, Minimal Description Length, universal Solomonoff induction, universal Levin search, and all that. It requires a background in theoretical computer science in general and computability theory in particular, which can be obtained from the classic textbook[HMU06].
關於通用人工智能（Artificial General Intelligence/Universal Artificial Intelligence，AGI/UAI）：
我編寫的這本書《Universal Artificial Intelligence Sequential Decisions based on Algorithmic Probability》從開發者的視角和完全數學化理論講述了一種多用途的理想的通用“智能”學習代理。該書給出了這種“學習代理”的完整概念（而不是僅給出一個空空的框架）和詳細定義。但請注意，這只是一個理論。它距離實際實現的差距就像是從“極大極小理論”到“一套真正的國際象棋程序”那麼大，之後還有很長的路要探索。這對於從“AIXI模型”理論到真正實現“實際的通用多用途智能代理”來說是一條極爲漫長和不平坦的道路。
Universal AI. Now you are in a position to read [Hut05]. The book develops a sound and complete mathematical theory of an optimal "intelligent" general-purpose learning agent. The theory is complete in the sense that it gives a complete description of this agent, not just an incomplete framework with gaps to be filled. But be warned, it is only a theory. Like it is a long way from e.g. the minimax theory of optimally playing games like chess to real chess programs, it is a long way from this theory to a practical general purpose intelligent agent [VNHS09].
關於周邊其他相關領域：
下面再爲大家推薦一些其他方面的數據作爲擴展閱讀（學習），豐富背景知識，加深各位對AI各個重要研究領域的有益補充。首先可以加入書單的是由Christopher Bishop編寫的《模式識別與機器學習》（Pattern Recognition and Machine Learning），它被公認爲是關於“統計機器學習”方面的優秀著作。
另外一些“貝葉斯概率”理論方面的書籍（例如：S.James Press編寫的《Subjective and Objective Bayesian Statistics: Principles, Models, and Applications 2nd Edition》、 E. T. Jaynes編寫的《Probability Theory: The Logic of Science 1st Edition》）也很有用，應當加入書單。
還有，博弈論領域的《Logic: An Introduction (Fundamentals of Philosophy)》（Greg Restall 編著）。《Computer Vision: A Modern Approach 1st Edition》（David A. Forsyth 編著）、《Speech and Language Processing, 2nd Edition 2nd Edition》（Daniel Jurafsky 和 James H. Martin 編著）、《Probabilistic Robotics (Intelligent Robotics and Autonomous Agents series)》（Sebastian Thrun , Wolfram Burgard 和 Dieter Fox 編著）講述了各種理論在現實中的接口抽象定義。
最後，Nicholas Alchin編寫的《Theory of Knowledge 2nd Edition》將一般性科學哲學問題及相關理論向我們娓娓道來，而John Earman編寫的《Bayes or Bust? A Critical Examination of Bayesian Confirmation Theory y First edition Edition》則着重給我們介紹了“歸納問題”的相關理論知識。
Peripheral Areas. The other recommended books below can be regarded as further readings that provide more background and deepen your understanding of various important aspects in AI research. Bishop (2006) [Bis06] is the excellent default textbook in statistical machine learning, and should be put on your reading list. Some Bayesian probability book will be useful too [Pre02, Jay03]. How multiple rational agents interact [SLB08] is the domain of game theory [OR96]. Computer vision [FP02], natural language understanding [JJ08], and robotics [TBF05] interfaces abstract agents with the real world. Alchin (2006) [Alc06] gently and broadly introduces you to philosophy of science in general and Earman (1992) [Ear92] to the induction problem in particular.