字節迴應“中文版Sora”:目前無法作爲完善產品落地,與國外有很大差距
字節跳動推出“中文版Sora”?
近日有傳言稱,字節跳動在Sora引爆文生視頻賽道之前,已經在研發“中文版Sora”:一款名爲Boximator的創新型視頻模型。
2月20日,字節跳動相關人士告訴澎湃新聞記者,Boximator是視頻生成領域控制對象運動的技術方法研究項目。目前還無法作爲完善的產品落地,距離國外領先的視頻生成模型在畫面質量、保真率、視頻時長等方面還有很大差距。
這款視頻模型的特點是什麼?與Runway推出的Gen-2、Pinka等市面上主流模型不同的是,Boximator可以通過文本精準控制生成視頻中人物或物體的動作。Boximator的數據來源是WebVid-10M數據集,研究人員從中過濾出110萬段動態明顯的視頻片段,併爲其註釋220萬個對象的邊界框,在PixelDance和ModelScope這兩個模型上訓練了Boximator。
字節跳動的研究人員表示,目前這款模型仍然處於研發階段,預計將在2-3個月內發佈測試網站。
作爲國內的科技巨頭,深耕短視頻賽道的字節跳動自然不願錯過AI視頻這一風口。2月7日,抖音集團CEO張楠官宣辭去集團CEO一職,將把全部精力All in剪映。
剪映是字節跳動推出的核心視頻剪輯產品,儘管不少互聯網公司都推出了自家剪輯產品,例如快手推出的快影,B站推出的必剪等,剪映依然處於國內領先位置。截至2021年,剪映的月活用戶已經突破1億,是國內最大的移動視頻編輯產品。
澎湃新聞了解到,過去一年,張楠已經把絕大多數精力傾斜到剪映相關業務上,並親自帶隊尋求在AI輔助創作上有所突破,即將推出一個AI生圖和視頻的產品。
在對標Sora方面,不少業內觀察人士對剪映寄予厚望。但字節跳動方面未迴應Boximator模型是否後續會應用於剪映中。
值得注意的是,此前字節跳動CEO樑汝波曾批評,公司對於新技術反應太遲鈍。在2024年度全員會上,樑汝波直言,公司層面的半年度技術回顧太慢,直到2023年纔開始討論GPT,而業內做得比較好的大模型創業公司都是在2018年至2021年創立的。
當時,樑汝波還對剪映做出批評,此前剪映的自動續費功能被用戶反饋不好取消,儘管公司很早就發現這一問題,卻花了一年的時間才解決。在樑汝波看來,這便是公司遲鈍的表現之一。
隨着Sora誕生,又掀起一波科技公司的佈局浪潮。浙商證券認爲,短期內,Sora及同類產品可大幅提升圖像和短視頻的製作效率,改變創意生產及營銷工作流,提升短視頻產品生產力。AI生成視頻工具的商業化將提速,目前Sora還未公佈收費標準,參照之前Runway等文生視頻工具收費情況,定價相對較高。鑑於Sora採用的世界模擬器技術路徑,邊際成本或有降低的可能。