騰訊混元文生圖大模型開源訓練代碼

記者獲悉，今日，騰訊混元文生圖大模型（以下簡稱爲混元DiT模型）宣佈全面開源訓練代碼，同時對外開源混元DiT LoRA 小規模數據集訓練方案與可控制插件ControlNet。

據騰訊混元方面介紹，這意味着，全球的企業與個人開發者、創作者們，都可以基於混元DiT訓練代碼進行精調，創造更具個性化的專屬模型，進行更大自由度的創作；或基於混元DiT的代碼進行修改和優化，基於此構建自身應用，推動技術的快速迭代和創新。

作爲中文原生模型，用戶在通過混元DiT的訓練代碼進行精調時，可以直接使用中文的數據與標籤，無需再將數據翻譯成英文。

此前，騰訊混元文生圖大模型宣佈全面升級並對外開源，已在 Hugging Face 平臺及 Github 上發佈，可供企業與個人開發者免費商用。據悉，這是業內首箇中文原生的DiT架構文生圖開源模型，支持中英文雙語輸入及理解。模型開源僅一個月，Github Star數達到2.4k，位於開源社區熱門DiT模型前列。

據悉，在開源訓練代碼的同時，LoRA小規模數據集訓練方案與可控制插件ControlNet的發佈也讓混元DiT模型的開源生態更具想象力。

LoRA模型，全稱Low-RankAdaptation of Large Language Models，是一種用於微調大型語言模型的技術。在文生圖模型中，LoRA被用作一種插件，允許用戶在不修改原有模型與增加模型大小的情況下，利用少量數據訓練出具有特定畫風、IP或人物特徵的模型。

LoRA技術在文生圖開源領域十分受歡迎，大量的創作者利用這種技術創造出多種多樣的模型，比如使用幾張個人照片，生成一個專屬於某個人的高精度照相館；或創造出盲盒、黏土等風格模型。

混元DiT本次發佈的專屬LoRA插件，支持開發者最少僅需一張圖即可創作出專屬的模型。比如，導入四張青花瓷圖片與相應的提示詞，即可完成模型訓練，創建了一個“青花瓷”生成模型：用戶輸入簡單提示詞，即可生成想要的青花瓷圖像。

本次上線的另一個插件ControlNet，則是一種應用於文生圖領域的可控化生成算法，它允許用戶通過添加額外條件來更好地控制圖像的生成。

目前，騰訊混元提供了能提取與應用圖像的邊緣（canny）、深度（depth）、人體姿勢（pose）等條件的三個首發ControlNet模型，讓開發者直接使用其進行推理。該三個ControlNet插件能實現通過線稿生成全綵圖、生成具有同樣深度結構的圖、生成具有同樣姿態的人等能力。同時，混元DiT也開源了ControlNet的訓練方案，開發者與創作者可以訓練自定義的ControlNet模型。

據悉，自混元DiT模型開源以來，得到了衆多開發者的支持和反饋，騰訊混元團隊也一直在持續完善和優化基於混元DiT的開源組件，與行業共建下一代視覺生成開源生態。本月初，混元DiT發佈的專屬加速庫，可將推理效率進一步提升，生圖時間縮短75%。同時模型易用性大幅提升，用戶可以基於ComfyUI的圖形化界面，使用混元DiT，或者通過Hugging Face Diffusers通用模型庫，用三行代碼即可調用混元DiT模型，無需下載原始代碼庫。

據瞭解，騰訊混元文生圖能力已廣泛被用於素材創作、商品合成、遊戲出圖等多項業務及場景中。