足夠強大，解鎖首個3D動畫開源方法DrawingSpinUp！一張圖變身3D動畫的秘密

動畫各種角色繪圖是一項有趣的視覺內容創作任務。 傳統的動畫方法通常只能實現平面的2D動作，缺乏3D效果。 我們可以通過將角色繪圖重建爲3D模型，並將3D動作數據應用於它，來解決這個問題。 然而，現有的圖像轉3D方法對業餘角色繪圖在外觀和幾何形狀上表現不佳。 繪圖中的輪廓線會給紋理合成帶來很大模糊，因爲它們依賴於視角。 此外，像細長的肢體這樣的單線輪廓區域難以重建，結構過於細緻。

爲了解決這些問題，DrawingSpinUp旨在爲角色繪圖帶來生動的3D動畫，讓它們能夠自由旋轉、跳躍，甚至跳hip-hop舞蹈。它採用了一種“先去除後恢復”的策略，先去掉視角依賴的輪廓線，再在重定向重建角色後將其恢復。爲了改善幾何形狀，開發了一種基於骨骼的細化變形算法，來處理由單線輪廓表示的細長結構。

01 技術原理

DrawingSpinUp流程如下：(a) 首先，使用FFC-ResNet去除輸入繪圖的輪廓區域，並進行填補。(b) 然後，利用預訓練的Wonder3D生成粗略的3D幾何形狀，並對其外觀和紋理進行細化。(c) 最後，提出了一個兩階段的幾何感知風格化網絡，逐幀恢復原始繪圖風格，包括紋理細節和輪廓線。

將輪廓預測任務作爲圖像轉換問題，使用FFC-ResNet來生成更準確的輪廓掩膜，並通過3DBiCar數據集訓練，最終將不同粗細的輪廓線以隨機顏色添加到圖像中，以模仿業餘繪圖風格。

爲了提高紋理質量，將多視角彩色圖像反投影到3D空間，重新爲每個頂點上色，主要關注正面姿勢的角色，這種姿勢在業餘繪圖中常見。對於不可見的區域，比如手臂內側或腿間，使用鄰近頂點的加權顏色進行填補，最終形成帶紋理的幾何形狀。

在動畫角色創建後，渲染一系列顏色幀F，並使用風格化關鍵幀恢復原始繪圖風格，得到風格化幀O。風格化網絡由兩個級聯的U-Net組成，分別恢復內部紋理和外部輪廓線。爲了提高穩定性，將第一個U-Net中的卷積層替換爲旋轉不變座標（RIC）卷積層，以適應多樣化的角色動作。

02 實際效果與對比

在與現有方法的比較中，DrawingSpinUp可以生成更真實的3D動畫，smith方法只能展示平面運動，無法捕捉角色身體或頭部的傾斜。DrawingSpinUp是首個支持業餘角色繪圖的3D動畫方法，與DreamGaussian和Wonder3D等其他圖像到3D重建方法相比，DrawingSpinUp方法在保持與輸入繪圖的一致風格和生成自然動畫方面表現優越。

儘管DrawingSpinUp能夠生成視覺上可信的3D動畫，但仍存在一些限制。首先，輸入繪圖中的角色大致處於正面姿勢，且沒有自遮擋；一些自遮擋情況（如交叉的手臂）可能導致重建的幾何形狀出現表面粘連或身體部位合併。其次，當提取輪廓時，使用不當的閾值可能導致渲染僞影。此外，當輸入繪圖的輪廓線過厚時，生成結果可能出現僞影。而對於高度抽象且遠離雙足角色的繪圖，效果也可能不理想。

歡迎交流～，帶你學習AI，瞭解AI