中信建投：零一萬物發佈Yi-Lightning，國產大模型迭代加速

每經AI快訊，中信建投研報表示，零一萬物正式對外發布新旗艦模型——Yi-Lightning（閃電）。Yi-Lightning 的訓練過程中，採用MoE混合專家模型架構，同時改進了單階段訓練，使用了多階段的訓練模式，並且採用了混合注意力機制。在保持模型性能接近最優的同時，儘可能減少激活參數的數量以降低訓推成本，提高推理速度。在大模型競技場（Chatbot Arena）上，Yi-Lightning性能直衝總榜單並列第6，數學分榜並列第3，代碼等其它分榜也名列前茅。總成績幾乎與馬斯克最新xAI大模型Grok-2-08-13持平，超越GPT-4o-2024-05-13、GPT-4o-mini-2024-07-18、Claude 3.5 Sonnet等頂流。