“龍蝦”揮鉗,算力吃緊
“龍蝦”揮舞的雙鉗下,是一個深不見底的算力黑洞。 有機構算了一筆賬:相比傳統聊天機器人,智能體的Token(詞元)消耗動輒放大數十倍,一個稍微復雜一點的任務,背后吃掉的算力,甚至可能是普通對話的百倍、千倍。有科技博主實測,如果真把“龍蝦”當成生產工具放開用,一周下來,費用接近萬元。 數據是最直觀的注腳?!梆B蝦”火起來之后,模型調用量極速攀升。全球API聚合平臺OpenRouter的數據顯示:3月16日至22日,全球大模型調用量已經達到20.4萬億Token,一周漲了兩成多。其中,中國大模型的周調用量漲幅更是超過五成,并且已經連續第三周超過美國。當周全球調用量排名前四的模型,也全部是“中國造”。 國家數據局公布的數據顯示,今年3月,中國日均Token調用量已突破140萬億,兩年增長了上千倍。 在不少業內人士看來,這樣的增長既令人興奮,也暗含隱憂。 3月27日中關村論壇年會的一場AI主題論壇上,算力缺口幾乎成了繞不開的話題。“OpenClaw帶來算力需求的暴增?!睙o問芯穹CEO夏立雪觀察到,“上次見到這樣的增速,還是當年3G手機剛普及,手機流量不夠用的時候。以后我們的手機里可能會有兩張卡,一張是SIM卡,一張就是‘Token卡’?!?/span> 問題在于,需求的曲線已經陡峭起來,供給卻還沒完全跟上。“讓更聰明的模型執行更復雜的任務,資源消耗極大。如果算力不夠,一個問題丟進去半天沒有響應,一切體驗都是空談?!敝亲V華章CEO張鵬說得直白。在他看來,推理需求正以百倍級別爆發,算力很可能成為制約行業發展的核心瓶頸。 夏立雪認為,當前階段,與其單純擴張算力規模,不如把已有資源用到極致。圍繞這個目標,他提出,應加快構建更高效、標準化的“Token工廠”,提供持續穩定、規模化的Token服務,使頂尖模型能力高效賦能海量下游場景,盡可能提升每一個Token的轉化效率,讓算力“花得值”。 再往遠一點看,未來的基礎設施本身也會走向智能化,可以自我調度、自主優化,甚至內置Agent來充當“管理者”,讓算法與算力系統形成更緊密的深度協同。 面對“算力焦慮”,也有人重申架構創新的價值。 小米MiMo大模型負責人羅福莉回憶,兩年前,在算力受限的情況下,中國團隊依然通過模型架構創新,“逼出”更高效率,比如DeepSeek的探索,“這給了我們勇氣和信心”。 如今,雖然硬件條件已經改善,國產芯片不再受限,但這種對更低推理成本、更高算力效率的探索,依然會在智能體時代成為未來競爭的關鍵。(記者 崔 爽)
【責任編輯:朱家齊】