對話火山譚待:今天行業按Token來計費,但以後不會只有這個模式
文|鄧詠儀
編輯|蘇建勳
封面來源|公司提供
2024年的火山引擎一反此前低調,正在以一種疾速姿態,在大模型市場現身。
不久前的5月,火山剛剛舉辦了一場引人注目的發佈會,一舉將模型價格拉低到“地板價”。豆包的主力模型豆包Pro-32k,就降價至0.0008元/千Tokens,同比行業平均降了99.3%。一時間,全行業譁然,廠商紛紛跟進。
但兩個月後,在價格上“掀了桌”的火山引擎,已經不願再多談價格問題。“現在,用10億Tokens才1000塊錢,再降價已經沒有太大意義。重要的是在同等價格下,模型能力提高多少。”火山引擎總裁譚待對《智能涌現》表示。
某種程度上,5月那個狂風驟雨般的“大促周”——除火山外,阿里、騰訊、訊飛等等大小廠商紛紛宣佈大模型降價,是大模型領域進入新階段的象徵。這背後的共識是:儘管大模型已經琳琅滿目,但它帶來的AI新蛋糕還太小——算力太貴,用戶沒有動力創新。所以,廠商們不如讓利。
效果也立竿見影。豆包大模型如今的日均Token使用量已超5000億。降價前,這個數字是1200億。
比起價格戰、收入這些名詞,譚待更關心帶來了多少用戶,以及他們到底用大模型做了多少事情。“我們不太看短期收入,更看通過這個事情跟多少客戶建立了更深的合作,幫他解決多少問題,自然而然就會有結果。”他說。
人們往往沿着過往的道路預測未來。大模型和雲計算,都被認爲是模式類似的生意:前期極重技術投入和工程研發,但到後期馬太效應極高。但前提是,要讓在其上的業務規模長到極大,才能真正有規模效應。
今年的大模型,正沿着這條道路發展——廠商們一輪輪地降價,讓大模型算力更加普惠,成爲水電煤一樣的基礎設施。
譚待認爲,在未來,大模型落地會比雲計算跑得更快。ChatGPT等產品已經讓全世界知道AI是未來,不像雲計算經歷了漫長的“佈道”。但要做到讓大家毫無顧慮地去做創新,降價只是第一步。
而AI應用的爆發,還需要持續投入到攻克模型的種種技術難關上:控制幻覺、長文本等等。“沒覺得開發者們焦慮,現在談Killer App還太早了。”他表示,現在的大模型還在“大哥大”時代,“還要等好多年,iPhone纔出現。”
2021年,火山正式進軍雲市場,如今滿打滿算也只有三年,在雲計算市場仍是一支新軍。因此,AI對火山引擎而言,既是一張新時代門票,也是彎道超車的機遇——這同樣是火山對AI大力投入的原因所在。在2023年,國內70%的大模型企業,都使用了火山引擎的算力服務;而在今年,MaaS(Model as a Service,模型即服務)將是下一個戰場。
以下爲《智能涌現》與譚待的對話實錄,經整理編輯:
價格“掀桌”之後
《智能涌現》:火山最近被討論的最多的,還是你們是大廠裡第一個掀起降價潮的廠商,大家說你們“掀桌了”。背後是怎麼考慮的?
譚待:我們的核心考慮,是要把應用生態做起來。
《智能涌現》:降價對你們來說,是個困難的決定嗎?想了多久?
譚待:完全不困難。我們從去年8月份正式推出之後,那會成本肯定就特別高。後面我們一直做工程方面的優化,內部也有大量的使用了,工程優化差不多一年的時候,我們就開始考慮降價的事。
《智能涌現》:爲什麼說這個決策不算困難?
譚待:我們在想,這個事情最重要的是什麼?就是我們要讓業務生態繁榮起來。
這背後是有幾個門檻的。第一是模型能力,豆包已經做起來了。我們的515大會上,大家也都看到,我們介紹大模型的時候沒有提自己的評測集,也沒有講評測結果。
因爲我覺得,大家用起來就可以了。測評什麼的,現在有很多第三方的評測,包括智源、OpenCompass等,都有說豆包效果挺好的。
第二就是成本太高,所以我們首先把價格要降下來,而且是一個可持續的價格。因爲我們是個To B業務,如果定價沒辦法長期支持毛利或者利潤,是不可持續的。
第三是落地的應用性,包括插件、案例等等,這是要用很多東西合起來的。我們通過工程優化,把成本降下來,這就是火山——一個雲廠商要做的事情。
《智能涌現》:火山是通過什麼方法,把價格降到這麼低的?
譚待:就是不斷優化我們的模型結構,優化推理的工程,成本降低了,就能把這個紅利釋放出來給到行業。
大模型作爲一種服務,一定是規模越大、成本越低。規模大,就可以有不同的負載,可以做錯峰、混合調度,雲計算其實也是一樣的道理,讓它成本變低。
第二,規模足夠大的時候,優化一點點,收益就足夠大,纔能有足夠的預算去建一個不錯的技術團隊。
《智能涌現》:這是一個相輔相成的過程。首先得更便宜,讓規模越大,你再進行優化,收益纔會更大。
譚待:這也得益於豆包APP的調用量起來了。之前的第三方數據大家都能看到,AI類產品,豆包APP排名都是第一。在抖音內部,就有50多個場景和業務線在大量使用,外部也有很多邀約的客戶,把規模撐起來了。
5月15日宣佈降價之後,我們的調用規模漲得更快,這時候我們又看到了更多可以優化的點。
《智能涌現》:正式宣佈降價後,效果怎麼樣?
譚待:首先,大家完全沒有任何負擔做AI創新了,規模漲得很快。很多創業公司每天的調用量會超過10億Tokens,現在10億Tokens纔多少錢?就1000塊錢。比起5月15日模型發佈時,現在平均每家客戶日均Tokens使用量增長了二三十倍。
而且有很多我們沒有想到的使用場景。我們就看豆包原來的日調用量,是1200多億Tokens,降價後,現在已經超過5000億Tokens。
其次是,我們宣佈降價的時候,有的人說價格不重要,但慢慢地後面很多廠商都開始跟了。
《智能涌現》:你們的主力模型豆包Pro 128k定價是0.005元/千Tokens,比起行業價格降低了95.8%,而32k的模型是0.0008元/千Tokens,更是降了99.3%。這個價格可以說是個“地板價”,是怎麼定的?
譚待:我們先把目標定好了,要把紅利釋放出來,有一個持續的價格。不虧,但是我也不用賺太多。我開始以爲是和行業平均水平相比是降90%,我沒想到後面一比,降了99%。
《智能涌現》:後面還會有降價空間嗎?
譚待:從這個角度來說,價格已經不是瓶頸了。降到這麼低了以後,無論再降多少,其實給用戶帶來的增益是不大的。現在更重要的是相同價格下,把模型能力再往上提,這是更有意義的事情。
《智能涌現》:這是不是有點像之前做CV(視覺識別)那一波AI創新。準確度從70%到90%很重要,但是最後從95%到98%其實意義也不大了,客戶也都能接受了。
譚待:它可能是做不到98%。但我們應該要反過來看,以前是5%的Bad Case(不符合預期的結果),現在變成2%,效果上還是提升了一倍。
《智能涌現》:行業裡也有不少評論,說現在國內開始打價格戰,對行業有不利的地方。因爲訓練大模型很貴,這樣一來大家都賺不到錢。
譚待:我不認同這個觀點。站在行業的角度來說,這讓中國的AI繁榮了,這是件好事。
雲計算也是一樣的,雲更早進入價格戰,那是好事,企業數字化轉型更容易了,成本都降低了,不能只站在一家公司角度來看。
《智能涌現》:過去在互聯網的語境下,“價格戰”的貶義成分太大了。
譚待:我覺得是有區別的,以往To C互聯網的商業模式是不一樣的,羊毛出在豬身上。但是To B的價格戰,企業本身就靠這個來收費的,持續提供這個價格,最後大家都會受益。
《智能涌現》:這對開發者肯定是好消息。但在你們內部呢?有一些雲廠的銷售同學和我們說,都沒有動力賣AI了,因爲AI賣不上價錢。怎麼考慮這個問題?
譚待:這是個很好的問題。我覺得對我們來說沒有什麼損失。
首先,火山是個雲平臺,客戶也不是隻要大模型,他其實是要一套整體方案,裡面有大模型,有云,也有數據產品。
大模型本身的單位收入是下降了,但通過大模型,幫客戶解決更多的問題,你以後會有更多的機會和他做更多的生意。如果大模型做好了,客戶甚至和我們說會說,不行,我的IT架構要重構,然後基於火山來做這個事情。
《智能涌現》:做IT架構的重構,這個怎麼理解?空間和機會體現在什麼地方?
譚待:以前的IT支出裡有很多東西,不是通過雲的方式來解決的,而是通過軟件功能的疊加——背後都是靠人力做的,很多東西沒辦法轉化成算力。
但有了大模型之後,很多場景,不管Copilot還是Autopilot的方式,很多AI場景都是可以由大模型來服務,而大模型底層就是雲。以前雲切不到的市場,就變成了可以去切的市場。
《智能涌現》:客戶現在對AI的認可度有多高?雲計算剛出來的時候,很多企業用戶會把雲計算等同於“先進”的概念,然後去做數字化。大模型現在有達到這樣的效果嗎?
譚待:企業並不是說現在上了AI以後,所有的IT環境馬上全部被AI取掉,肯定做不到,都是先把某一些可以用AI提升效率的場景識別出來。
舉個例子,我們看到有些客戶,模型一旦調用量起來,上下游的服務就崩潰了,他們就會把這些架構基於雲原生改造一下,撐起這個負載。
《智能涌現》:這些案例,會多大程度體現在收入上?
譚待:不全是從收入角度來看,我們現在也不太看短期。我們更看通過這個事情跟多少客戶建立了更深的合作,幫他解決多少問題,最後自然而然就會有結果。
《智能涌現》:短期不看收入的話,現在你最看重什麼指標?
譚待:企業使用的Token數,但以後我覺得也不會只是這個模式。我以前認識一個朋友,他以前是寫小說的,後來“棄文從詩”。我問,你爲什麼做這個選擇?他說寫詩是按行收錢的,寫小說是按字收錢的——同樣100個字,價格是不一樣的。
大模型的商業模式肯定會有所變化,最後的經濟模型是更端到端的模型。比如有一個Agent,它幫你解決多少問題,你就給它付多少錢,同樣100個字,由誰產出是不一樣的,這是更高級的商業模式。
AI應用沒爆發,本質還是模型能力問題
《智能涌現》:今年開始,行業裡現在討論一個很古早的詞:Killer App。大家在疑惑,爲什麼還沒有出現殺手級的應用。火山作爲一個重要的基礎設施提供方,你怎麼看現在AI應用所處的時期?
譚待:我覺得其實現在已經有Killer App了,ChatGPT就是。無論是用戶數和收入數,它比所有的互聯網產品,比TikTok、抖音都快,這已經是一個很強的信號了。
現在談Killer App,我覺得本身還是站在To C的角度看這個事情。大模型在C端場景肯定會跑得很快,因爲試用面非常廣,比如聊天類、情感陪伴類的App,現在都跑得很快。
其次,我們也不用只看Killer App,因爲還有很多生產力的場景在企業端,比如AI客服。在這些場景,不適用Killer App的概念,我們也不以DAU之類的指標討論。
企業服務不會講Killer App。ERP(企業管理系統軟件)是Killer App,每個企業都要有,但不會有人談這個概念。
《智能涌現》:從全球範圍來說,除了ChatGPT到達Killer App的水平,其他產品都差得太遠了。比如情感陪伴、交友,都還是主打的比較小範圍的人羣,同質化程度還高。
譚待:我覺得要看時間,比如開始PC時代的Killer App是搜索引擎,但搜索引擎是很晚纔出現的,以前都是門戶網站、電商網站。但這些網站多了之後,搜索引擎再出來了。
包括移動互聯網剛萌芽的時候,抖音、美團這些App,也是過了好幾年以後纔出來的。
《智能涌現》:你是做雲計算出身。如果跟雲計算相比,你怎麼看這一輪AI技術的普及?它會和雲計算普及的路徑一樣嗎?
譚待:雲計算這個事情,即使你是做技術的,去了解它也挺複雜的,不是個人就能輕鬆搭起來事情。我2010年到2011年的時候在阿里待過。那個時候,全球可能就AWS一個想清楚雲是什麼了,谷歌也都沒想清楚。
但AI不一樣,作爲個人,就能很方便的體會它的功能,好壞你也很快能知道。你想知道AI是什麼,下個豆包就行了。從這個角度來說,它就不像雲計算,需要太複雜的佈道。
《智能涌現》:這樣的普及路徑,會影響To B業務的決策和購買邏輯嗎?
譚待:每個企業是有慣性的,To B業務會變得慢一些。但是至少你去了解這個產品好不好的時候,客戶的體驗會變。
AI帶來的一個大改變是,它讓To B業務可見可得,POC(原型驗證)的時間會短很多。以前,決策和使用是分離的,決策者做選擇,但使用者會覺得這太爛了。
但是AI把這些鴻溝都抹平很多。以前客戶要看PPT、去參觀、做訪談,最後決策者頂多看看Demo,體驗得不是那麼完整。現在我和客戶去聊,客戶會和我們說我平時用的豆包,他要調Demo裡的什麼東西,後臺改一改,馬上就能調了。甚至售前自己就能動手,不需要售前回來讓研發再改。
這也是爲什麼我們To C和To B都是一個品牌,都是豆包。
《智能涌現》:就國內的大模型而言,你覺得現在差異化大嗎?
譚待:價格上差異就很大。
《智能涌現》:大家不是都降很多了嗎?
譚待:國內的廠商其實沒有跟得徹底,我們是最強的主力模型也降到了一個0.0008元/千Tokens,但大部分廠商不是降最強,而是把次強的模型降的比較低,或者把一個小模型給免費了。你去看看一些友商的主力模型多少錢,和豆包的價格還差着至少幾十倍。
用開源的模型來測成本,也比用豆包要貴。如果用開源的Llama去做,工程優化要自己做,沒有規模優勢。同樣的效果下,自己做工程優化,也比直接用雲上的要貴好幾倍。
《智能涌現》:除了價格之外,其他差異呢?
譚待:模型現在還在快速的進化中,還有很多能力沒有開發出來,後面還是會有很多差異,它會越來越好。但看全球範圍內,可能就那麼三四家做得很好,至少不會是像國內十家這麼多。
《智能涌現》:現在火山的客戶,主要集中在什麼行業?
譚待:千行百業都有。做得比較好的手機廠商,包括三星、小米、OPPO、vivo、榮耀。汽車廠商我們做得也很多,都是很大的公司。金融銀行也有一些案例。
但切入角度會不一樣。比如手機和汽車,我們做的是比較完整的人機交互場景。但很多大國企或銀行,他們可能先從一個小點來試。
所以做AI的好處是,你可以一點點開始,沒必要一上來就切核心系統。
《智能涌現》:各家大模型平臺的客戶畫像差異大嗎?做大模型的很多都是雲廠商,雲廠商的客戶羣體也都會有行業差異。
譚待:大模型業務規模小的時候是有差異的,規模大了就沒什麼差異了。現在中小客戶肯定要多一些,但我們去看行業分佈,可能不一定會有特別大的差異。
《智能涌現》:C端和B端,你覺得大模型在哪邊會先起來?
譚待:我們現在量差不多,但C端的馬太效應很強,可能頭部的幾個客戶,就貢獻了非常多DAU。C端都是這個邏輯,哪怕不是AI的時候也是這樣的規律,但B端發展就很長遠了。
《智能涌現》:現在大模型能做的事情還是相對比較簡單,比如,大家都覺得Agent(智能體)這個定義甚至都沒有對齊。爲什麼現在現在大模型的執行只能停留在這麼簡單的場景?
譚待:模型能力不夠強嘛。
《智能涌現》:有什麼關鍵地方要突破?
譚待:挺多的,模型能力要強,智力要強。前段時間不是高考嘛,豆包終於“考上了”文科一本,但還沒考上清華北大,連理科一本都沒考到,這是很明顯的事情,水平還沒夠。但沒問題,我們有足夠的信心。
第二,還有很多複雜的問題沒解決好,比如長期記憶。這肯定是需要一些模型結構上的創新,還有多模態要做得更好。成本也要控制,加上這些能力之後,成本漲太多也不行。
我覺得大模型還是處在很早期。移動通信革命三四十年了,從七八十年代開始,AI的發展歷史比它更長,我們這纔剛幹了兩年。90年代我們還在用大哥大的時候,能想到現在的iPhone嗎?這都是幾十年間的變化。
《智能涌現》:現在火山大模型的業務體量,無論是客戶量還是收入,符合你的預期嗎?
譚待:我覺得可以的,達到預期了。我們希望看到一個繁榮的生態,現在確實達到了我們想要的效果。而且不僅是我們在漲,我們看到友商也在漲。
《智能涌現》:心裡有一個預估的量嗎?
譚待:比如總Token數有個目標,既有總量也有分層,比如Token數超過多少多少的用戶數量,要達到一個水平。我們希望客戶形成一個紡錘形、或者漏斗結構的分佈。如果Token總量很高,但過億Token的客戶只有十個,那也不健康。
《智能涌現》:現在的形狀是什麼樣的?
譚待:現在還沒有到倒金字塔的形狀,腰部用戶的部分還可以更粗一點。
《智能涌現》:很明顯,大模型降價之後,AI更加普惠了,能做的事情也變多。你覺得現在的早期使用者們,“一人公司”的趨勢明顯嗎?
譚待:現在“一人公司”少一些,“十人公司”挺多的。我看海外的,有兩三個人就能做不少事情。
以前我們開玩笑說,創業就差一個程序員,現在也不需要了。我們訪談的一些用戶說,我沒有Code(代碼),這個Demo根本做不出來原型驗證(POC),但現在可以了,這就是0到1的突破。以後大模型再好一點,可能就0到100的事情,都可以用AI來解決。
OpenAI原來有個討論,什麼時候出現公司只有一個人的獨角獸公司(估值10億美金以上),是五年還是更久。
這樣的話,我們更不應該只看Killer App,因爲創業公司的很多想法,都是去解決很垂直的問題。
鼓吹“上AI就能業務增長”,這是騙子
《智能涌現》:你現在的精力是放在技術這邊更多一點,還是客戶這邊比較多?
譚待:差不多。短期內這兩邊是分不開的。AI不像雲計算已經很成熟了,AI的模型提升、產品提升,客戶怎麼用,需要有一個反饋的過程,不能只坐在辦公室裡面去看。
《智能涌現》:客戶現在的需求或者疑惑,聚焦在哪些層面比較多?
譚待:有很多讓你意想不到的方式。
比如教育場景,以前有的人想,我把解題給你解好就行了。但現在很多場景是,客戶需要你扮演好一個老師,告訴我怎麼做到這一點,不是隻告訴我答案是什麼,這對模型就不只是模型能力上的要求。
《智能涌現》:你覺得這是一個產品層面的問題嗎?
譚待:你可以認爲是個產品或者需求問題,但背後也都是技術問題。
《智能涌現》:在客戶這邊,“Must have”的場景,現在會多嗎?比如現在,企業認爲AI是個可有可無的東西,或者可能會考慮到降本增效問題。
譚待:大家已經有共識,AI是那個Next Big Thing,所以他肯定不會錯過。現在我們已經不需要再去教育企業一定要用AI,但你要和他探討哪些場景適合用AI。有時大家會低估AI的能力,有時候也會高估。
《智能涌現》:所以,比起以前數字化的時代,AI相當於給數字化這個理念帶去了一點新升級。
譚待:也許是的。以前做數字化,很重要的一步是要把非結構化數據變成結構化的,還要讓人理解結構化數據。現在AI全給他解決了,數字化的門檻降低了。
《智能涌現》:企業看待AI和看待數字化的視角是相同的嗎?以前企業做數字化,對老闆來說,他覺得也許是提升了一點效率,但很多還是把它看做成本。企業去問數字化要增長的時候,其實它的貢獻是很乏力的,AI可以改變這個狀態嗎?
譚待:我覺得它是不同維度的決策,技術只是說讓業務這件事做得更好而已。老闆一方面是要怎麼去看我的業務模式,另一方面是怎麼通過數字化,把我的業務效率提升。
假設一個零售商問我,怎麼樣實現業務增長?我第一點肯定不是跟他講你要上AI,我肯定說:你先做抖音電商。然後再說,我們通過AI能幫你在哪些地方提效。如果一上來就說“上了AI就能增長”,我覺得是騙子。
《智能涌現》:我有個朋友,原來在火山賣雲挺苦的,後來2022年左右走了。看到大模型之後,他覺得這件事給了火山特別大的機會。你們怎麼看?
譚待:我們2021年底才推出雲,第一年當然不好做,都是最難的,他再堅持一年就好了。其實我們這幾年增長還是蠻快的,在行業是最快的。
我覺得時勢造英雄。如果沒有新客戶,客戶沒有新場景,你就算做得最好,又有什麼用呢?之前的雲計算黃金年代,是因爲移動互聯網起來了,後面各行各業的數字化都逐漸成熟,雲計算就漲得沒那麼快了,這是行業發展的自然規律。
但下一個時代就是AI。我覺得每十年或者更久,都會有個新的點出來,還是要抓住這個新的點,保持自己的技術領先。
《智能涌現》:你覺得你現在接觸到的開發者焦慮嗎?
譚待:我自己感覺大家沒有特別焦慮的。爲什麼呢?你看現在的模型也還可以,價格又這麼低,你就多嘗試,沒有什麼好焦慮的。可能是投資人比較焦慮。(笑)
《智能涌現》:一些開發者焦慮的點是,因爲現在雖然模型便宜,他們剛開始的時候還挺好的,還能賺到錢,但是他們一旦開始擴大規模,投流,ROI就算不正了,真正留存下來的用戶很少。
譚待:我覺得那是流量的問題,那不是AI的問題。你不用AI,你換個別的東西也會投不正。好比短劇很火,有的短劇就能賺錢,還有的短劇不能賺錢,這也很正常。
《智能涌現》:你最近看到最有意思的AI應用場景,是什麼?
譚待:挺多的,比如有小朋友都直接用豆包來學英語。還有我們一個企業客戶想把大模型用起來,就在公司內部搞一個AI黑客鬆,員工根據平時遇到的業務需求,開發了100多個產品,可能裡面就能有兩三個成功的。
我們現在和一些車廠合作,他甚至把自己的用戶邀請過來,參與到整個設計中。用戶參與設計,他可能更抓到自己的痛點是什麼。
《智能涌現》:你們服務的企業,現在訓練和推理算力比例有多大的變化?
譚待:訓練還是會多一些。但是推理現在也漲的非常快了,比起去年有幾十倍的漲幅,訓練的漲幅不到兩倍。我們原來有個預測,認爲是2025年推理會超過訓練,現在看起來確實是這樣。
《智能涌現》:你覺得AI應用什麼時候會有大爆發?
譚待:首先今年不是大爆發,但肯定是小爆發了,但是我覺得明年就會有大爆發。即使從全球範圍來看,現在肯定也都是在AI應用的早期,未來有更親民的價格,保證模型效果理想的情況下。AI應用纔會蓬勃發展,不斷有化學反應,生態才能建好。
《智能涌現》:從2023年開始,你們就一直強調不會做基礎大模型,以後會做嗎?
譚待:以後也不會。豆包大模型是字節跳動一個專門的團隊在做,火山沒必要自己做模型,做好雲和MaaS就行了。
做雲計算和做大模型的人,肯定是完全不一樣的。全球大廠都是分開做的,亞馬遜的模型是Claude,雲就給AWS做;Google做谷歌雲和Gemini的也不是一幫人。
我們火山就是專注把雲這個事做好,但MaaS是雲很重要的一塊。MaaS要做成了,我們的MaaS服務就把最好的模型提供給我們的客戶,這個一直都沒有變過。
歡迎入羣
歡迎交流