北大字節開闢圖像生成新範式！超越DiT，不再預測下一個token

北大和字節聯手搞了個大的：

提出圖像生成新範式，從預測下一個token變成預測下一級分辨率，效果超越Sora核心組件Diffusion Transformer（DiT）。

並且代碼開源，短短几天已經攬下1.3k標星，登上GitHub趨勢榜。

具體是個什麼效果？

實驗數據上，這個名爲VAR（Visual Autoregressive Modeling）的新方法不僅圖像生成質量超過DiT等傳統SOTA，推理速度也提高了20+倍。

這也是自迴歸模型首次在圖像生成領域擊敗DiT。

直觀感受上，話不多說，直接看圖：

值得一提的是，研究人員還在VAR上，觀察到了大語言模型同款的Scaling Laws和零樣本任務泛化。

論文代碼上線，已經引發不少專業討論。

有網友表示有被驚到，頓時覺得其他擴散架構的論文有點索然無味。

還有人認爲，這是一種通向Sora的更便宜的潛在途徑，計算成本可降低一個乃至多個數量級。

預測下一級分辨率

簡單來說，VAR的核心創新，就是用預測下一級分辨率，替代了預測下一個token的傳統自迴歸方法。

VAR的訓練分爲兩個階段。

第一階段，VAR引入了多尺度離散表示，使用VQ-VAE將連續圖像編碼爲一系列離散的token map，每個token map有不同的分辨率。

第二階段，主要是對VAR Transformer的訓練，通過預測更高分辨率的圖像，來進一步優化模型。具體過程是這樣的：

從最低分辨率（比如1×1）的token map開始，預測下一級分辨率（比如4×4）的完整token map，並以此類推，直到生成最高分辨率的token map（比如256×256）。在預測每個尺度的token map時，基於Transformer，模型會考慮之前所有步驟生成的映射信息。

在第二階段中，之前訓練好的VQ-VAE模型發揮了重要作用：爲VAR提供了“參考答案”。這能幫助VAR更準確地學習和預測圖像。

另外，在每個尺度內，VAR是並行地預測所有位置的token，而不是線性逐個預測，這大大提高了生成效率。

研究人員指出，採用這樣的方法，VAR更符合人類視覺感知從整體到局部的特點，並能保留圖像的空間局部性。

符合Scaling Laws

從實驗結果來看，在圖像生成質量、推理速度、數據效率和可擴展性等方面，VAR都超過了DiT。

在ImageNet 256×256上，VAR將FID從18.65降到了1.8，IS從80.4提高到356.4，顯著改善了自迴歸模型基線。

注：FID越低，說明生成圖像的質量和多樣性越接近真實圖像。

推理速度方面，相較於傳統自迴歸模型，VAR實現了約20倍的效率提升。而DiT消耗的時間是VAR的45倍。

數據效率方面，VAR只需要350個訓練週期（epoch），遠少於DiT-XL/2的1400個。

可擴展性方面，研究人員觀察到VAR有類似於大語言模型的Scaling Laws：隨着模型尺寸和計算資源的增加，模型性能持續提升。

另外，在圖像修補、擴展和編輯等下游任務的零樣本評估中，VAR表現出了出色的泛化能力。

目前，在GitHub倉庫中，推理示例、demo、模型權重和訓練代碼均已上線。

不過，在更多討論之中，也有網友提出了一些問題：

北大字節聯合出品

VAR的作者們，來自字節跳動AI Lab和北大王立威團隊。

一作田柯宇，本科畢業自北航，目前是北大CS研究生，師從北京大學信息科學技術學院教授王立威。2021年開始在字節AI Lab實習。

論文通訊作者，是字節跳動AI Lab研究員袁澤寰和王立威。

袁澤寰2017年博士畢業於南京大學，目前專注於計算機視覺和機器學習研究。王立威從事機器學習研究20餘年，是首屆“優青”獲得者。

該項目的項目主管，是字節跳動廣告生成AI研究主管Yi jiang。他碩士畢業於浙江大學，目前的研究重點是視覺基礎模型、深度生成模型和大語言模型。

參考鏈接：[1]論文：https://arxiv.org/abs/2404.02905[2]項目主頁：https://github.com/FoundationVision/VAR

— 完 —