壁仞科技申請神經網絡模型訓練處理相關專利,能夠根據人工智能處理單元的存儲佔用情況動態地將中間張量卸載至中央處理單元的存儲器

金融界2024年11月30日消息,國家知識產權局信息顯示,上海壁仞科技股份有限公司申請一項名爲“神經網絡模型訓練處理的電子設備、方法和介質”的專利,公開號CN 119046015 A,申請日期爲2024年10月。

專利摘要顯示,本申請提供了一種神經網絡模型訓練處理的電子設備、方法和介質,中央處理單元配置成對神經網絡模型訓練中的中間張量進行存儲控制:對於生成的第一中間張量,確定人工智能處理單元的存儲器的當前存儲使用率是否超過第一閾值,在確定超過第一閾值的情況下,將第一中間張量從人工智能處理單元的存儲器轉存至中央處理單元的存儲器;以及在後向計算中使用第一中間張量進行計算之前,判斷第一中間張量的存儲位置,在確定存儲位置爲中央處理單元的存儲器的情況下,將第一中間張量從中央處理單元的存儲器取回至人工智能處理單元的存儲器,以用於後向計算。本申請能夠根據人工智能處理單元的存儲佔用情況動態地將中間張量卸載至中央處理單元的存儲器。

本文源自:金融界

作者:情報員