beplay2網頁登錄
beplay2網頁登錄
清華大學新突破:“太極-Ⅱ”光芯片首次實現大規模光訓練
2024-08-08 09:41
beplay2網頁登錄
作者:

  據清華大學官方消息,該校電子工程係方璐教授課題組、自動化係戴瓊海院士課題組另辟蹊徑,首創了全前向智能光計算訓練架構,研製了“太極-II”光訓練芯片,實現了光計算係統大規模神經網絡的高效精準訓練。

  該研究成果以“光神經網絡全前向訓練”為題,於北京時間 8月7日在線發表於《自然》期刊。

  該論文由清華大學電子係作為第一單位,方璐教授和戴瓊海教授擔任通訊作者,博士生薛智威和博士後周天貺為共同第一作者,博士生徐智昊和之江實驗室虞紹良博士參與研究。課題得到國家科技部、國家自然科學基金委、北京信息科學與技術國家研究中心、清華大學-之江實驗室聯合研究中心的支持。

  Nature審稿人在審稿評述中指出“本文中提出的想法非常新穎,此類光學神經網絡(ONN)的訓練過程是前所未有的。所提出的方法不僅有效,而且容易實現。因此,它有望成為訓練光學神經網絡和其他光學計算係統的廣泛采用的工具。”

  該研究利用光子傳播對稱性,將神經網絡訓練中的前向與反向傳播都等效為光的前向傳播。在太極-II架構下,梯度下降的反向傳播轉化為光學係統的前向傳播,訓練過程僅需兩次前向傳播,具有天然對齊特性,確保了物理梯度的精確計算。這種訓練方法精度高,支持大規模網絡訓練,且不再依賴電計算進行離線建模與訓練。

  太極-II光訓練芯片以光為計算媒介,利用光的全前向傳播實現訓練,大幅提升了光網絡訓練的速度與能效。研究表明,太極-II能夠對多種不同光學係統進行訓練,並在各種任務下表現出卓越性能。在大規模學習領域,太極-II將數百萬參數的光網絡訓練速度提升了1個數量級,智能分類任務的準確率提升了40%。在複雜場景智能成像方麵,太極-II在弱光環境下實現了5.40×10^6 TOPS/W的全光處理,係統級能效提升了6個數量級。在非視域場景下,實現了千赫茲幀率的智能成像,效率提升了2個數量級。在拓撲光子學領域,太極-II能夠自動搜索非厄米奇異點,為解析複雜拓撲係統提供了新思路。

  太極-II的問世,進一步揭示了智能光計算的巨大潛力。太極I和II分別實現了高能效AI推理與訓練,共同構成了大規模智能計算的完整生命周期。方璐表示,太極係列將為未來AI大模型注入算力發展的新動力,構建光算力的新基座。

  目前,研究團隊正積極推進智能光芯片產業化,在多種端側智能係統上進行了應用部署。預計智能光計算平台將以更低的資源消耗和更小的邊際成本,為人工智能大模型、通用人工智能、複雜智能係統的高速高能效計算開辟新路徑。

免責聲明:

① 凡本站注明“稿件來源:beplay2網頁登錄”的所有文字、圖片和音視頻稿件,版權均屬本網所有,任何媒體、網站或個人未經本網協議授權不得轉載、鏈接、轉貼或以其他方式複製發表。已經本站協議授權的媒體、網站,在下載使用時必須注明“稿件來源:beplay2網頁登錄”,違者本站將依法追究責任。

② 本站注明稿件來源為其他媒體的文/圖等稿件均為轉載稿,本站轉載出於非商業性的教育和科研之目的,並不意味著讚同其觀點或證實其內容的真實性。如轉載稿涉及版權等問題,請作者在兩周內速來電或來函聯係。

相關新聞
清華大學 2024-07-31 09:26