OneFlow亮相WAIC世界人工智能大會,解讀大模型訓練挑戰

(原標題:OneFlow亮相WAIC世界人工智能大會,解讀大模型訓練挑戰

7月9日,由燧原科技之江實驗室聯合主辦的世界人工智能大會(WAIC)“AI·智能計算引領變革”分論壇上海成功舉行,一流科技OneFlow創始人兼CEO袁進輝博士在論壇上進行主題演講,向與會來賓分享大規模預訓練模型的挑戰和解決之道。

近年來,超大規模預訓練模型成爲深度學習領域熱點話題。從原來的“算法爲王”逐漸過渡到“算力致勝”,以GPT爲代表的一大批超大規模預訓練模型接連問世,讓業界看到了人工智能產業應用的更多可能性

算力需求的旺盛不光對AI芯片硬件帶來了挑戰,也對以深度學習框架爲代表的AI基礎軟件提出了更高的要求。傳統的深度學習框架以“單機單卡”爲基礎進行軟件架構設計,在面對分佈式訓練需求時就會遇到諸如內存牆”之類的問題。而一流科技與之江實驗室共同研發的OneFlow新一代分佈式深度學習框架則瞄準了這個世界級難題。OneFlow深度學習框架是面向數據大模型大計算打造的人工智能計算框架,也是專爲深度學習打造的異構分佈式流式系統,代表了深度學習框架的發展方向,是新一代的深度學習基礎軟件。OneFlow獨創了自動數據模型混合並行、靜態調度、去中心化和全鏈路異步流式執行四大核心技術,完美地解決了大數據、大模型、大計算所帶來的異構集羣分佈式擴展挑戰,技術水平世界領先。

在本次論壇上,袁進輝博士也向大家介紹了一流科技與燧原科技、之江實驗室的最新合作進展。目前,OneFlow深度學習框架正在和燧原科技的新款AI芯片進行適配,部分主流模型已經可以在該環境下運行。據悉,該解決方案目標是提供全國產化的超大規模模型訓練能力