萬卡集群利用率不足20%，TaaS平臺如何破解算力「空轉(zhuǎn)」難題？

本文作者：劉伊倫

2026-03-30 10:46

導語：趨境ATaaS平臺以極致高效能Token生產(chǎn)為核心錨點，支撐集群實現(xiàn)日均萬億級穩(wěn)態(tài)Token產(chǎn)出落地。

當AI產(chǎn)業(yè)從模型能力競爭逐步轉(zhuǎn)向規(guī)?；瘧酶偁?，圍繞“Token推理效率”進行系統(tǒng)性優(yōu)化成為行業(yè)的核心命題。

“隨著智能體、AI Coding等應用的爆發(fā)式增長，Token消耗量呈百倍、千倍級躍升，2026年已成為名副其實的‘Token爆發(fā)元年’。AI產(chǎn)業(yè)的核心關(guān)注焦點，正從模型參數(shù)規(guī)模、模型可用性全面轉(zhuǎn)向穩(wěn)定、低成本、高質(zhì)量交付的Token產(chǎn)能?！编嵕暶裨菏勘硎尽?/p>

萬卡集群利用率不足20%，TaaS平臺如何破解算力「空轉(zhuǎn)」難題？

但與此同時，國內(nèi)算力利用率正深陷結(jié)構(gòu)性困境。

首先，資源配比嚴重失衡，Token生成過度綁定GPU，高端內(nèi)存、集群SSD、IB互聯(lián)等昂貴閑置資源利用率不足10%，整機綜合利用率不及20%，造成巨額智算成本空耗。

軟硬協(xié)同樣存在短板，硬件算力持續(xù)迭代，但軟件優(yōu)化與分布式并行組合穩(wěn)定性不足，超80%理論算力被浪費，粗放調(diào)度又隱形損耗超50%算力。

面對大量行業(yè)痛點，雷峰網(wǎng)(公眾號：雷峰網(wǎng))獲悉，3月27日2026中關(guān)村論壇期間，趨境科技發(fā)布全新一代AI推理平臺——趨境ATaaS高效能AI Token生產(chǎn)服務平臺（Approaching.AI Token as a Service），為破解算力投入與Token產(chǎn)出失衡難題提供了系統(tǒng)性解決方案。

這一產(chǎn)品落地，也折射出AI基礎設施產(chǎn)業(yè)的演進趨勢：行業(yè)競爭不再單純比拼算力規(guī)模，而是轉(zhuǎn)向綜合衡量Token生產(chǎn)核心指標，涵蓋首包響應時延（TTFT）、Token吞吐效率（TPS）與全域資源利用率等關(guān)鍵維度。

那么，趨境ATaaS通過哪些底層技術(shù)優(yōu)化，破解行業(yè)算力利用的結(jié)構(gòu)性矛盾？又將如何通過生態(tài)共建，系統(tǒng)性打通產(chǎn)業(yè)割裂痛點？

萬億Token穩(wěn)態(tài)產(chǎn)出、GPU開銷直降 90%，TaaS平臺重構(gòu)智算底座

過去兩年，行業(yè)焦點高度集中在基礎模型競賽：各家瘋狂堆疊參數(shù)、沖刺榜單、追逐SOTA性能，模型廠商一度成為資本追捧的熱點。

但隨著產(chǎn)業(yè)主線從大模型訓練轉(zhuǎn)向規(guī)模化落地應用，深層供需失衡開始顯性暴露：個人重度使用“小龍蝦”等AI智能體單日Token成本可達千元，服務供給端卻深陷虧損經(jīng)營，大量智算資源長期低效空轉(zhuǎn)、得不到合理利用。

TaaS成為調(diào)和產(chǎn)業(yè)矛盾、重構(gòu)Token生產(chǎn)效率的核心解法，為行業(yè)打通降本、提效、提質(zhì)的關(guān)鍵通路。

對此，鄭緯民院士錨定產(chǎn)業(yè)趨勢，明確了TaaS落地演進的三大核心技術(shù)底座：一是全系統(tǒng)異構(gòu)協(xié)同，通過將不同計算任務合理分配至GPU、CPU、內(nèi)存和SSD，打破算力瓶頸；二是存算協(xié)同實現(xiàn)“以存換算”，通過前置KV Cache等技術(shù)，大幅降低重復計算量，提升推理效率；三是面向SLO的智能調(diào)度，精準地將用戶業(yè)務需求“翻譯”為底層資源決策。

立足這套底層技術(shù)邏輯，趨境ATaaS平臺以極致高效能Token生產(chǎn)為核心錨點，可承載萬級并發(fā)AI推理業(yè)務，支撐集群實現(xiàn)日均萬億級穩(wěn)態(tài)Token產(chǎn)出落地。

萬卡集群利用率不足20%，TaaS平臺如何破解算力「空轉(zhuǎn)」難題？

作為全球首創(chuàng)的大模型計算邏輯重構(gòu)技術(shù)，異構(gòu)推理2.0技術(shù)“六合”深度融合CPU與GPU、國產(chǎn)及非國產(chǎn)異構(gòu)算力，實現(xiàn)任務智能分流，能將萬卡級智算集群運營成本壓降20%以上。

以存換算2.0“月餅”，憑借超體量KV Cache緩存技術(shù)，將存儲空間拓展百倍至千倍，最高實現(xiàn)90%緩存命中率，直接削減90%的GPU算力開銷。

“雙儀”虛實同構(gòu)技術(shù)，依托算子級SLO仿真能力，完成算力資源智能預規(guī)劃與動態(tài)調(diào)優(yōu)，精準切分異構(gòu)算力，讓萬卡級集群硬件綜合利用率實現(xiàn)數(shù)倍提升。

“萬象”極致彈性技術(shù)，則打通了規(guī)?；慨a(chǎn)的最后一道壁壘，支持萬億參數(shù)大模型7秒極速拉起、動態(tài)配置變更，以及數(shù)百節(jié)點超大規(guī)模EP彈性調(diào)度，為萬卡級集群高性能橫向擴展筑牢根基。

趨境ATaaS平臺的發(fā)布為AI基礎設施的建設和運營提供了新的思路和行業(yè)標準，使每單位算力和能耗投入都能夠數(shù)倍轉(zhuǎn)化為更穩(wěn)定、更可衡量的Token價值產(chǎn)出，更標志著AI基礎設施發(fā)展焦點從單純的算力規(guī)模競爭，轉(zhuǎn)向?qū)oken生產(chǎn)效率的綜合衡量，推動算力基礎設施從“數(shù)據(jù)中心”向“Token工廠”全面演進。

萬卡集群利用率不足20%，TaaS平臺如何破解算力「空轉(zhuǎn)」難題？

集群性能翻倍背后：TaaS生態(tài)協(xié)同「重寫」Token經(jīng)濟學

面對國產(chǎn)推理基礎設施“可用”與“好用”之間的鴻溝，技術(shù)優(yōu)化之外，生態(tài)協(xié)同的緊迫性正在凸顯。

從底層硬件廠商，到模型廠商，再到最貼近終端用戶的云服務平臺，趨境ATaaS平臺正逐步嵌入產(chǎn)業(yè)鏈的每一個關(guān)鍵環(huán)節(jié)，以生態(tài)協(xié)同模式發(fā)揮聚合效應，推動國產(chǎn)AI推理基礎設施的發(fā)展。

華為昇騰計算業(yè)務副總裁、首席產(chǎn)品規(guī)劃師葉耀榮表示，趨境與昇騰展開了全方位的技術(shù)和商業(yè)化合作，部分項目中在昇騰AI集群上實現(xiàn)了2倍以上性能提升。

九源智能計算系統(tǒng)生態(tài)聯(lián)合體副秘書長王豪杰表示，Token時代競爭轉(zhuǎn)向單位成本產(chǎn)出，國產(chǎn)卡面臨“生態(tài)驅(qū)動”困局。九源聯(lián)合體打造國產(chǎn)智能計算生態(tài)，全國產(chǎn)化方案適配多款GPU、串行代碼高效并行的九源領(lǐng)域編程語言“九齒”、支撐Mooncake推理加速系統(tǒng)、基于國產(chǎn)芯片的高效智能體，并與KTransformers等框架深度聯(lián)動。

云上算力服務的深度融合同樣是破局關(guān)鍵。

并行科技董事長陳健表示，并行MaaS服務得到趨境科技的大力支持，雙方合作將高質(zhì)量Token的生產(chǎn)成本大幅優(yōu)化，并將特定場景下的集群性能提升50%，共同為智譜、Kimi、MiniMax、DeepSeek等頭部大模型客戶提供優(yōu)質(zhì)服務。

京東云同樣與趨境科技達成合作，雙方聯(lián)合打造推理引擎，推動Mooncake開源生態(tài)發(fā)展。

萬卡集群利用率不足20%，TaaS平臺如何破解算力「空轉(zhuǎn)」難題？