中科院自動化所發佈跨模態通用人工智能平臺“紫東太初”

中國科學院自動化研究所(中科院自動化所)成功研發的跨模態通用人工智能(AI)平臺“紫東太初”9日正式對外發布，其以多模態大模型爲核心，基於全棧國產化基礎軟硬件平臺，可支撐全場景AI應用。

中科院自動化所所長、中國科學院大學人工智能學院院長徐波研究員當天在2021世界人工智能大會上就人工智能的最新進展做學術報告，發佈“紫東太初”並展示該所最新打造的虛擬人“小初”，對通用多模態大模型的人機對話進行演示。

徐波介紹說，依託面向超大規模的高效分佈式訓練框架，中科院自動化所構建出具有業界領先性能的中文預訓練模型、語音預訓練模型、視覺預訓練模型，並開拓性地通過跨模態語義關聯實現圖文音(視覺-文本-語音)三模態統一表示，構建三模態預訓練大模型，賦予跨模態通用人工智能平臺多種核心能力。

“紫東太初”兼具跨模態理解和生成能力，與單模態和圖文兩模態相比，其採用一個大模型就可以靈活支撐圖文音全場景AI應用，具有在無監督情況下多任務聯合學習、快速遷移到不同領域數據的強大能力。其引入語音模態後的多模態預訓練模型，可實現共性圖文音語義空間表徵和利用，並突破性直接實現三模態的統一表示。

徐波指出，“紫東太初”跨模態通用人工智能平臺包括三大關鍵技術和六大核心能力。三大關鍵技術分別是：多模態理解與生成多任務統一建模、面向國產化軟硬件的高效訓練與部署、多模態預訓練模型架構設計與優化；六大核心能力則體現爲：多模態統一表示與語義關聯、跨模態內容轉化與生成、預訓練模型網絡架構設計、標註受限自監督模型學習、模型適配與分佈式訓練、模型輕量化與推理加速。

他表示，“大數據+大模型+多模態”將改變當前單一模型對應單一任務的人工智能研發範式，多模態大模型將成爲不同領域的共性平臺技術，是邁向通用人工智能路徑的探索，具有廣闊應用前景。

同時，中科院自動化所全棧國產化通用人工智能平臺的成功實踐，將使人工智能研發的規則發生重大變革，對中國實現人工智能領域科技創新、佔領核心技術高地具有重要意義。

基於“紫東太初”打造的虛擬人“小初”，形象展示出不同模態間的互相轉換和生成實例，涵蓋視頻描述、智能問答、圖像檢索、吟詩作賦、中文續寫、雙語翻譯、語音識別等多個功能。徐波認爲，這表明，通過圖文音三模態的關聯與協同，可以有效提升機器的理解和生成能力，讓AI接近人類想象力。(記者 孫自法)