英特爾推出新一代AI解決方案Xeon 6與Gaudi 3

英特爾發表次世代AI解決方案Gaudi 3。圖/英特爾提供

隨着AI技術不斷顛覆各行各業,企業對於兼顧成本效益與快速部署的AI基礎設施需求日益增長。英特爾24日正式發表搭載效能核心(P-core)的全新Xeon 6處理器與Gaudi 3 AI加速器,進一步鞏固其在AI與高效能運算(HPC)領域的領導地位,新產品強調提升每瓦效能並降低總持有成本(TCO),協助企業建構更強大、靈活且具成本效益的AI系統。

Xeon 6處理器採用效能核心(P-core)設計,專爲運算密集型工作負載打造,特別針對AI應用進行了全面優化;與前一代相比,Xeon 6在處理效能上實現了2倍的提升,核心數與記憶體頻寬均加倍,並且在每個核心中嵌入AI加速功能,使其能夠輕鬆應對從邊緣設備到資料中心、雲端環境等多樣化場景中的AI需求。

Gaudi 3 AI加速器專爲生成式AI設計,具備64個張量處理器核心(TPC)和8個矩陣乘法引擎(MME),能顯著提升深度神經網路的運算效能。此外,配備128 GB的HBM2e記憶體,能處理大規模AI模型的訓練與推論。Gaudi 3的吞吐量相比前一代提高了20%,且在與Nvidia H100的競爭中展現出強大優勢,在相同成本下執行LLaMa 2 70B模型推論時,其效能高出2倍。

Gaudi 3完美支援PyTorch框架,並與Hugging Face Transformer和diffuser模型無縫相容。英特爾與IBM的合作將Gaudi 3作爲服務佈署至IBM Cloud,進一步擴大生成式AI的應用範疇,幫助企業在提升AI效能的同時,降低整體的總持有成本。

爲了促進企業AI的規模化應用,英特爾與多家OEM合作伙伴,包括戴爾科技與美超微,共同設計針對Gaudi 3與Xeon 6的AI解決方案,尤其是基於檢索增強生成(RAG)技術的系統。這些解決方案建立在Open Platform For Enterprise AI(OPEA)平臺上,整合Kubernetes、Red Hat OpenShift AI等技術,並針對Xeon和Gaudi AI系統進行最佳化,旨在幫助企業輕鬆應對AI部署過程中的安全性、擴展性與監控等挑戰。

英特爾持續推動AI技術的創新,並推出了Tiber產品組合,專爲解決橫跨AI、雲端與邊緣環境的挑戰而設計。企業客戶現可透過Intel Tiber Developer Cloud,提前體驗Xeon 6與Gaudi 3的強大效能,進行技術評估與測試。Gaudi 3預計下一季開始大規模佈署,進一步加速AI解決方案的普及,透過此次全新AI技術的發表,英特爾再次展示其在企業AI應用領域的深厚實力,併爲各行各業開啓了更高效、更具成本效益的AI應用新紀元。