近日，阿里雲人工智能平臺PAI與華東師範大學張偉教授團隊合作在自然語言處理頂級會議EMNLP2023上發表了基於認知理論所衍生的CogTree認知樹生成式語言模型。通過兩個系統：直覺系統和反思系統來模仿人類產生認知的過程。直覺系統負責產生原始問題的多個分解假設，反思系統對直覺系統產生的假設進行驗證，並選擇更有可能的假設進行後續生成，直到達到最終結果。通過上述雙系統的迭代式生成，可以提升大模型的解題準確度。
論文：
Junbing Yan, Chengyu Wang, Taolin Zhang, Xiaofeng He, Jun Huang, Wei Zhang. From Complex to Simple: Unraveling the Cognitive Tree for Reasoning with Small Language Models. EMNLP 2023 (Findings)
背景
隨着深度學習在自然語言處理、機器翻譯等任務上的不斷髮展，人們對如何將深度學習應用到自然語言處理中越來越感興趣，由此出現了大語言模型（例如GPT-3.5），並已在文本生成、情感分析、對話系統等多個任務上取得了重大突破。大語言模型通常基於大規模文本數據進行預訓練，然後通過微調在特定任務上進行優化，以生成高質量的文本輸出。然而，對於語言模型而言，複雜的邏輯推理問題和數學問題的求解仍然是很困難的。並且，傳統的語言模型缺乏認知能力。在處理涉及冗長的推理鏈或多步解決方案的問題時，對於問題及其當前回答的評估是很重要的。然而，目前的方法例如Chain-of-thought等通常缺乏對於中間過程的驗證。並且大型語言模型的部署和推理成本相對較高，特別是在利用無參數更新的推理增強技術時。這些技術需要大量的上下文和多步的答案生成，進一步增加了推理成本和時間。
因此，本文研究面向輕量化大模型的複雜任務推理，使用較小規模的模型（7B），構建雙系統生成推理樹，大大增強模型在複雜數學問題和邏輯推理問題上的回答能力。提出了一種大模型面向複雜數學問題的求解方法。該方法基於人類的認知理論，通過兩個系統：直覺系統和反思系統來模仿人類產生認知的過程。直覺系統負責產生原始問題的多個分解假設，反思系統對直覺系統產生的假設進行驗證，並選擇更有可能的假設進行後續生成，直到達到最終結果。通過上述雙系統的迭代式生成，可以提升大模型的解題準確度。
算法概述
爲了解決上述大模型對複雜任務推理準確度不高且推理成本大的問題，CogTree採用雙系統的方式，用大模型分別構建兩個系統：直覺系統和反思系統，使用直覺系統生成原問題分解的假設，使用反思系統驗證假設的正確性，引導直覺系統後續的生成。模型框架圖如下所示：
通過雙系統迭代式的生成一棵推理樹，增強大模型的推理能力。本方法的創新性是面向大語言模型，設計了一套新的推理框架，增強大模型在複雜數學問題上的推理能力。
直覺系統
反思系統
訓練
直覺系統
反思系統
算法精度評測
爲了驗證CogTree算法的有效性，我們在Entailment Bank邏輯推理數據集以及GSM8K數學問題數據集上進行了測試，效果證明CogTree對大模型複雜任務上的回答準確率提升明顯：
我們也將算法與其他基於大模型微調的方法進行對比，證明了CogTree框架的有效性。
爲了更好地服務開源社區，CogTree算法的源代碼即將貢獻在自然語言處理算法框架EasyNLP中，歡迎NLP從業人員和研究者使用。
EasyNLP開源框架：https://github.com/alibaba/EasyNLP
參考文獻
- Chengyu Wang, Minghui Qiu, Taolin Zhang, Tingting Liu, Lei Li, Jianing Wang, Ming Wang, Jun Huang, Wei Lin. EasyNLP: A Comprehensive and Easy-to-use Toolkit for Natural Language Processing. EMNLP 2022
- Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, Christopher Hesse, and John Schulman. 2021a. Training verifiers to solve math word problems. CoRR, abs/2110.14168
- Denny Zhou, Nathanael Schärli, Le Hou, Jason Wei, Nathan Scales, Xuezhi Wang, Dale Schuurmans, Olivier Bousquet, Quoc Le, and Ed H. Chi. 2022. Least-to-most prompting enables complex reasoning in large language models. CoRR, abs/2205.10625
- Jonathan St B. T. Evans. 1984. Heuristic and analytic processes in reasoning. British Journal of Psychology, 75(4):451–468
論文信息
論文標題：From Complex to Simple: Unraveling the Cognitive Tree for Reasoning with Small Language Models
論文作者：嚴俊冰、汪誠愚、張濤林、何曉豐、黃俊、張偉
論文pdf鏈接：https://arxiv.org/abs/2311.06754
本文爲阿里雲原創內容，未經允許不得轉載。