4月9日,2025全球分布式云大會暨 AI 基礎設施大會在深圳成功舉辦,火山引擎邊緣云產(chǎn)品解決方案高級總監(jiān)沈建發(fā)出席并以《智啟邊緣,暢想未來:邊緣計算新場景落地與 Al 趨勢新暢想》為主題,分享了邊緣計算在 AI 技術趨勢下,對于新場景的思考與落地實踐。
演講主要分為四部分:行業(yè)變化,模型部署從云端到邊緣;火山引擎邊緣云,助力企業(yè) AI 轉型;6大垂直場景,打造針對性解決方案;暢想未來:連接與計算無處不在,讓 AI 觸手可及。
以下是演講實錄:
各位來賓大家好,今天我分享的主題是“智啟邊緣,暢想未來”,一起來聊聊邊緣計算新場景落地與 AI 趨勢新暢想。
1.行業(yè)變化,模型部署從云端到邊緣
近期,行業(yè)格局呈現(xiàn)的變化值得我們關注。從技術演進脈絡來看,垂直領域模型與小參數(shù)模型數(shù)量顯著增長,其中 4-7B 參數(shù)的垂類模型在邊緣側應用范圍持續(xù)擴大;值得關注的技術突破包括 Gemma 3 模型的發(fā)布,其單 GPU 部署能力有效降低了硬件門檻;行業(yè)整合方面,以高通收購邊緣 AI Edge Impulse 最具代表性。縱觀全局,從大語言模型到小參數(shù)模型,再到 Tiny 級微架構,模型部署正呈現(xiàn)出從云端向邊緣端遷移的顯著趨勢,生成式 AI 技術正朝著多元化方向縱深發(fā)展。
在 AI 應用加速演進過程中,實時交互式 AI 技術突破尤為顯著。伴隨著交互形態(tài)從單一文本向語音、音視頻持續(xù)拓展,AI 應用對于低時延網(wǎng)絡傳輸和數(shù)據(jù)傳輸效率的要求也越來越高。當智能手機、IoT 設備等終端載體不斷迸發(fā)時,邊緣云依托覆蓋全球的邊緣節(jié)點,構建出更貼近用戶的敏捷服務體系,為海量端側智能場景提供超低時延、快速響應的分布式計算解決方案。
2.火山引擎邊緣云,助力企業(yè) AI 轉型
火山引擎邊緣云以云原生技術為基礎底座,融合異構算力和邊緣網(wǎng)絡,是構建在大規(guī)模邊緣基礎設施之上的云計算服務,并提供以邊緣位置的計算、分發(fā)、網(wǎng)絡、存儲、安全、智能為核心能力的新一代分布式云計算解決方案。通過在設備終端、現(xiàn)場邊緣、近場邊緣、云邊緣、云中心之間構建計算與網(wǎng)絡的分層連接,覆蓋1-40ms超低延時場景需求,致力于實現(xiàn):“連接與計算無處不在,讓 AI 觸手可及”。
從產(chǎn)品架構來看,邊緣云可概括為基礎設施層、計算服務層及網(wǎng)絡服務層,在應用上為各行業(yè)場景提供整體解決方案。今天重點和大家分享計算服務層,依托自主研發(fā)的邊緣云原生操作系統(tǒng):
在通用化計算服務領域,構建了多層算力結構,覆蓋邊緣函數(shù)、邊緣容器、虛擬機及裸金屬服務器等多種形態(tài),適配邊緣計算的不同場景需求,網(wǎng)絡架構方面,通過環(huán)形組網(wǎng)技術構建專屬傳輸網(wǎng)絡,實現(xiàn)網(wǎng)絡加速與智能調(diào)度雙重優(yōu)化。
在場景化計算服務領域,邊緣云推出了邊緣智能服務矩陣,包含邊緣大模型網(wǎng)關、一站式端側接入 SDK、邊緣智能管理平臺等,形成從終端接入到模型調(diào)度的服務體系,全面支撐各類業(yè)務場景的智能化轉型需求。
同時,從邊緣算力來看,可以根據(jù)時延劃分為不同層級:
在現(xiàn)場邊緣層,我們提供多規(guī)格邊緣一體機,覆蓋從輕量化邊緣盒子到高性能 x86 算力集群的全場景需求,實現(xiàn)計算資源與業(yè)務場景的精準匹配;
在近場邊緣層,基于部署在全國 31 個省份核心城市的邊緣節(jié)點,配套聯(lián)線網(wǎng)關與專用傳輸通道,通過提供邊緣大模型網(wǎng)關能力以及智能調(diào)度體系,確保算力、模型調(diào)用服務響應節(jié)點與用戶物理距離最優(yōu);
在區(qū)域邊緣層,我們構建了核心環(huán)網(wǎng),沿南北骨干網(wǎng)絡部署區(qū)域級樞紐節(jié)點,支持專線接入,高速互聯(lián)環(huán)網(wǎng)。通過與火山引擎云中心的無縫對接,實現(xiàn)邊緣側 TOS 存儲等核心業(yè)務的云邊端協(xié)同。同時提供國際合規(guī)化專線服務,滿足業(yè)務國際化需求。
下面將詳細介紹邊緣計算針對場景化計算、通用算力需求的產(chǎn)品布局。
2.1場景化計算服務
針對現(xiàn)場邊緣場景,我們提供多種邊緣智能一體機套餐,滿足如智慧園區(qū)、智慧倉儲、智慧校園、AI 應用等不同業(yè)務場景整體服務需求:
智慧園區(qū):采集多門類設備數(shù)據(jù),打破信息壁壘,減少信息孤島交付數(shù)字化園區(qū)的運營能力
智慧倉儲:實現(xiàn)倉儲各類設備接入管理,建設倉儲物流數(shù)字化體系,規(guī)范管理流程和員工行為
智慧校園:依托視頻數(shù)據(jù)接入與 AI 算法智能分析,實現(xiàn)校園車輛智慧管理、學生行為分析能力
AI 應用:提供 GPU 算力資源,內(nèi)含 AI 應用創(chuàng)新平臺,推進企業(yè) AI 轉型,激發(fā)企業(yè)增長潛能
同時,面向不同業(yè)務場景需求,智能一體機也可提供相應定制化功能,如針對智慧倉儲提供的高配一體機預置了 AI 質(zhì)檢、SKU 自動測量等能力;針對 AI 應用場景,我們提供包含 GPU 算力、本地推理服務的推理一體機,預置了專屬知識庫、視覺檢測智能體的智能體一體機,以及預置了 Hi Agent 平臺、低代碼 AI 應用開發(fā)的 Hiagent 一體機,以此來推進企業(yè) AI 轉型,激發(fā)企業(yè)增長潛能。
在大模型結合應用層面,我們提供邊緣大模型網(wǎng)關產(chǎn)品。邊緣大模型網(wǎng)關支持用戶通過一個 API 接口訪問多家大模型提供商的模型,在端側基于遍布全球的邊緣節(jié)點就近調(diào)用。利用邊緣云基礎架構的優(yōu)勢,通過語義緩存減少回源,平臺顯著提高模型訪問速度,為終端用戶提供更快速、更可靠的 Al 服務體驗。同時結合自部署模型調(diào)用能力,為終端應用的端邊云推理需求提供統(tǒng)一出口,打造推理服務云邊端協(xié)同能力,實現(xiàn)端側算力卸載。
在 AI 能力和服務上,邊緣大模型網(wǎng)關提供預置模型,包括大語言模型、向量模型、圖片內(nèi)容理解、文本生成模型、語音大模型等,并通過集成三方模型,滿足國內(nèi)外模型的適配和調(diào)用。在智能體層面,邊緣大模型網(wǎng)關支持聯(lián)動扣子自行創(chuàng)建智能體,同時也積累了預置智能體,包括語音對話智能體、文字識別智能體、 OCR 質(zhì)檢智能體、目標檢測智能體等,進一步滿足不同垂類場景的需求。
2.2通用化計算服務
此外,針對近場邊緣場景,我們提供一站式邊緣計算平臺,基于多種邊緣異構算力、存儲能力和網(wǎng)元能力,結合網(wǎng)關和專線快速接入,實現(xiàn)云邊和邊邊的高速專線連接,并提供可靠的 DDoS 防護能力,實現(xiàn)在全國各區(qū)域構建一張核心環(huán)網(wǎng)和提供多層次的分布式算力。
3.6大垂直場景,提供專屬解決方案
針對邊緣推理場景,火山引擎邊緣計算構建分布式推理集群,并通過 K8s 來管理和調(diào)度邊緣算力,當用戶提交請求任務時,中心平臺可以基于用戶的地理位置,將請求調(diào)度到靠近用戶的邊緣節(jié)點,實現(xiàn)推理的高效反饋。同時,邊緣 NAS 可以存儲不同的模型和數(shù)據(jù),在文生圖和文生視頻場景上通過提供高性價比的算力和網(wǎng)絡資源,實現(xiàn)更低延時的推理效果。
針對 AIGC 推理/數(shù)據(jù)傳輸場景,火山引擎邊緣計算能夠基于邊緣計算節(jié)點和全球合規(guī)專線,結合全球加速平臺,為用戶提供安全、合規(guī)、可靠的就近接入和跨域傳輸加速服務,保證分布式低時延接入,同時通過高可靠性容災方案,確保合規(guī)、優(yōu)異的加速體驗。
針對云手機/云游戲場景,火山引擎邊緣計算依托異構算力實現(xiàn)安卓容器化,通過 RTC 流化傳輸與全球智能調(diào)度,就近部署云手機/云游戲服務,保障低延遲體驗。同步開放邊緣節(jié)點資源與異構算力,支撐云手機、云游戲供應商快速落地多樣化場景。
針對機房的云化和連接,考慮到服務器自持有一定生命周期,更新?lián)Q代也比較快的情況,火山引擎邊緣計算提供邊緣云化解決方案,支持老舊服務器無縫遷移至邊緣節(jié)點或通過網(wǎng)關接入,通過秒級彈性部署算力池,靈活適配業(yè)務周期,實現(xiàn)有效降低運維成本。
針對 AI 玩偶場景,火山引擎邊緣大模型網(wǎng)關推出智能玩具解決方案,通過統(tǒng)一 API 接口接入,并實現(xiàn)多節(jié)點智能調(diào)度,支持多樣化 AI 模型與智能體快速接入。基于 WebSocket 實時通信協(xié)議與智能調(diào)度系統(tǒng)深度融合,賦能玩具等陪伴類終端設備實現(xiàn)快速智能化改造,助力傳統(tǒng)硬件升級為 AI 邊緣載體,顯著提升創(chuàng)新效率。
針對芯片場景,火山引擎邊緣大模型網(wǎng)關推出端智能實例及一站式 OneSDK 解決方案,助力廠商快速對接邊緣大模型網(wǎng)關,實現(xiàn)多模型兼容與智能體靈活調(diào)用,目前在智能玩具、教育終端等陪伴類場景實現(xiàn)規(guī)模化落地。
4.暢想未來:連接與計算無處不在,讓 AI 觸手可及
在 AI 視覺與多模態(tài)交互蓬勃發(fā)展的當下,從智能眼鏡的虛實融合到機器人的自主交互,從實時音視頻對話到陪伴型終端的場景創(chuàng)新,AI 正突破單模態(tài)邊界重塑人機協(xié)作范式。面對這場交互革命,火山引擎邊緣云持續(xù)深耕分布式智能基座,以近場算力調(diào)度、低時延傳輸與彈性資源池構建萬物智聯(lián)時代的核心支撐力,讓每一次虛實交互都能獲得最佳終端響應。
在人工智能技術不斷催生新場景、新模式、新業(yè)態(tài)的同時,網(wǎng)絡、算力等作為重要的“AI 基礎設施”正與 AI 加速融合、交叉賦能。面向未來,火山引擎邊緣云將持續(xù)推動 AI 應用場景與技術革新,致力于實現(xiàn)“連接與計算無處不在,讓 AI 觸手可及”的愿景。
(審核編輯: 朝言)
分享