11月28日，中國教育和科研計算機網CERNET第二十八/二十九屆學術年會在福州開幕。會上，清華大學計算機係教授唐傑作了題為《生成式人工智能大模型的現狀和未來》的特邀報告，總結了人工智能大模型的發展曆程，並對大模型的未來進行了展望。

唐傑 清華大學計算機係教授

　　2020年：大模型元年

　　唐傑表示，預訓練大模型是新一代人工智能應用的基礎設施。大模型通用能力強，可完成多場景任務。從2018年到現在，其趨勢是由單模態向多模態發展，從文本逐步發展到視覺。

　　據唐傑介紹，Open AI引領了AGI(人工通用智能)的研究。2020年，GPT-3推出。GPT-3是跨時代意義的語言大模型，標誌AI文本生成進入下一個階段。因此，2020年可以稱之為大模型元年。

　　今年，GPT-4發布。與GPT-3.5相比，GPT-4的數學能力、微積分能力大大增強，開始具備邏輯推理能力、求解能力，並且走向了多模態，實現圖像和文本輸入。而GPT-4.5(AII Tools)具有很強的Agent(智能體)能力，融合多種工具的Agent形態，通過網頁瀏覽、代碼解釋、文件解析、圖片生成、圖片理解，以及多工具結合，無需手動指定工具，能夠自動觸發。

　　唐傑表示，GPT-4/4.5的出現表明，我國在大模型上的研究還有空間，也需要繼續努力。此外，目前來看，亟需建立以中文為核心的自研大模型。

　　大模型發展曆程

　　唐傑認為，可以把GPT(生成式預訓練Transformer模型)的發展分為三個階段。第一階段是“千億基座模型”，相當於機器把世界上所有的書讀了個遍，把知識都學會，但“飽讀詩書”的大模型卻未必會“考試”；第二階段是“有監督指令微調”，相當於“教”大模型怎麼“考試”，怎麼回應痛點，怎樣跟人類的思維方式對齊；第三階段是“人類反饋強化學習”，將強化學習與人類反饋相結合，利用人類提供的反饋來指導大模型的行為。

　　為什麼AGI會迎來爆發？唐傑進一步回顧了人工智能的發展曆程。

　　他表示，人工智能的發展可以分為三個時期。第一個時期是“符號AI”，實現了知識的可搜索性，讓計算機用描述語言把人類知識描述出來，這一階段以各種“專家係統”為代表。第二個時期是“感知智能”，實現了知識的可計算性，大數據驅動的統計學習方法初步實現了針對文本、圖像、語音等的感知與識別。第三個時期是“認知智能”，實現了認知的可計算性。中科院院士、清華大學教授張鈸在2016年提出第三代人工智能雛形，DARPA(美國國防高級研究計劃局)在2018年發布“AI Next”計劃。核心思路是推進數據統計與知識推理融合的計算，與腦認知機理融合的計算。在此階段，機器“認知”實現了元學習：自動學習認知目標。而目前急需的是高質量超大規模知識圖譜(AI的基礎設施)以及對超大規模數據的深度理解能力(麵向認知的深度學習)。

　　解密大模型

　　2017~2018年，隨著Transformer的誕生，語言模型規模迅速擴大。大模型的出現還帶來了in-context能力(隱含模式遷移)。一方麵，大規模模型算力需求迅速增長，單模型計算量每年增長10倍，形成新的“摩爾定律”；另一方麵，機器智能的規模效應，擁有量變到質變的能力，在千億稠密參數(~100B，或 1023FLOPS訓練量)時模型能力開始出現“湧現”。

　　唐傑總結道，總的來說，大模型理論研究還明顯落後於工程進展。我們在工程上看到了很多現象，但在理論上卻解釋得不夠清楚。

　　為解密大模型，對標GPT係列模型，唐傑及團隊推出了GLM係列模型。據唐傑介紹，GLM係列把千億基座模型、有監督指令微調、人類反饋強化學習這三個階段相對壓縮了時間，並在算法方麵進行了創新，提出“自回歸填空”。2022年，在斯坦福大學大模型中心報告的世界主流大模型評測中，GLM-130B是亞洲唯一入選模型，其準確性、惡意性與GPT-3持平，魯棒性和校準誤差在所有模型中表現最佳。

　　2024年：AGI元年？

　　唐傑表示，對於未來AGI的走勢，我們還麵臨很多挑戰。首先，從工程角度看，Scaling(規模化)的盡頭是AGI嗎？一方麵，真正的Scaling規模遠超學術界想象。擴大規模不僅僅基於參數量，更多的是基於計算量。另一方麵，Scaling仍有空間，單卡摩爾定律放緩，但係統角度仍在延續。

　　唐傑進一步表示，Scaling的真正極限，也許是AGI的一點曙光。未來更大的挑戰是，人類的認知到底是怎樣的？從人類大腦進化的曆程來看，腦容量逐漸擴張，在此過程中人類實現了工具能力、語言能力等等，那麼大模型的發展是否也可以遵循人腦進化的道路，慢慢發展出工具能力、語言能力和其他能力？從這一點看，AGI之路還很長。

　　據了解，日前，Open AI提出超級對齊(Superalignment)的概念。唐傑表示，Superalignment本質上就是超級智能與超級安全，是讓AGI跟人類的價值觀意識觀對其，並且實現超過人類智能的智能。從這一點看，也許2024年將是AGI的元年。

　　本文根據清華大學計算機係教授唐傑在CERNET第二十八/二十九屆學術年會上的報告整理，點文末“閱讀原文”可進入CERNET第二十八/二十九屆學術年會專題