神雲科技於 SC26 展出全棧基礎設施,擴展代理式 AI應用
2026-11-18
趨勢情報
31
全球高效能伺服器解決方案領導者神達控股股份有限公司(股票代號:3706)子公司神雲科技(MiTAC Computing Technology Corp.),今日於 SC26 展會中揭曉其全方位的 AI 基礎設施生態系。神雲科技位於第 4615 號攤位,以「全棧基礎設施,擴展AI代理式應用(Scaling Agentic AI. Built on Full-Stack Infrastructure)」為主題,展示全棧創新技術如何克服企業部署 AI 時所面臨的運算、散熱與資料傳輸瓶頸。隨著代理式 AI 帶動推論工作負載呈指數級暴增,擴展基礎設施所需的已不僅是單純的 GPU 算力。透過與 AMD、C
開創解耦 AI 推論引擎 (Disaggregated AI Inference Engine)
「擴展代理式 AI 需要的是具備凝聚力的基礎設施,而非零散的系統,」神雲科技總經理黃承德(Rick Hwang)表示。「神雲科技提供全棧基礎設施解方,實現永續發展的 AI 工廠。」
神雲科技於 SC26 展出全棧基礎設施 擴展代理式 AI應用
神雲科技與 Skymizer 攜手合作,共同打造一款創新的推論架構。該架構將高度消耗算力的「Prefill(預填)」階段交由 GPU 處理,並將高度消耗記憶體的「Decode(解碼)」階段分配給 Skymizer 的 HTX301 加速卡。此一架構旨在讓企業能針對不同階段的工作負載進行精準的資源配置,同時確保模型推論能維持在地端(On-premises)運行。
此提案配置結合了兩大伺服器平台:
- Prefill 階段: 採用 8U 氣冷規格的 MiTAC G8825Z5,搭載 AMD EPYC™ 9575F 或 9755 處理器與 AMD Instinct™ MI350X GPU,專責處理 Prefill 運算,並透過高速網路將產生的 Key-Value (KV) Cache 傳輸至 Decode 伺服器。
- Decode 階段: 採用 4U 氣冷規格的 MiTAC G4520G6,搭載 Intel® Xeon® 6 處理器,並配置 8 張 Skymizer HTX301-4S 加速卡。每張卡具備 256 GB 記憶體,透過 8 組 PCIe 插槽提供高達 2 TB 的聚合加速器記憶體空間。
透過上述協作,MiTAC G4520G6 Decode 伺服器旨在於地端環境運行如 Kimi K3(具備 2.8 兆參數的大型語言模型)這類超大型模型,進而驅動複雜且具備深度推理(Deep-reasoning)能力的代理式 AI 工作負載。歡迎造訪活動專頁以了解更多資訊。
統籌全棧軟體生態系
具備擴充性的 AI 工廠需要極具凝聚力的軟體生態系。在基礎安全性方面,Canonical Ubuntu 提供經過認證的作業系統層,確保無縫部署與企業級的穩定度。整合 DDN Infinia 解決方案,確保海量資料流能以超低 I/O 延遲進行處理,避免加速器陷入無資料可算的閒置窘境。
在此基礎上,神雲與 Rafay 合作,賦能企業具備動態的 GPU 即服務(GPUaaS)調度能力,在分散式工作負載中高效分配 GPU 資源,消除閒置算力並將投資報酬率(ROI)最大化。而將整個生態系緊密結合的,是神雲科技自主研發的 MiCoreView™ 軟體,這是一款全方位的 POD 管理解決方案,可提供深度的遙測與監控數據(Telemetry),並為整個資料中心帶來統一的視覺化監控能力。
透過機櫃級創新展示多元化 AI 基礎設施
奠基於 AMD 董事長暨執行長蘇姿丰博士(Dr. Lisa Su)上個月在 OCP 全球高峰會上宣布的願景,神雲科技正與 AMD 合作開發 Helion 代理式 AI 機櫃(Helion Agentic AI Rack)。這款專為次世代機櫃級代理式架構打造、即將推出的 ORv3 44OU Helion 解決方案,將能在開源軟體堆疊中擴展至高達 32,768 個 AMD Zen 6 CPU 核心,賦能超大規模(Hyperscale)資料中心與企業環境智能地分配複雜工作負載,並將每瓦Agent運算效率(Agents-per-watt efficiency)推向極致。
在 SC26 展會現場,神雲科技亦同步展示三款專為現代工作負載打造的機櫃級創新產品:
- 52U 高密度 AI 液冷機櫃: 整合 12 台 MiTAC G4826Z5 伺服器與 96 顆 AMD Instinct™ MI355X GPU,此解決方案的 GPU 密度較傳統部署方式高出 50%。
- 先進液冷機櫃: 神雲科技與 ZutaCore 合作展示了一項概念驗證(PoC),將 G4826Z5 伺服器導入無水兩相直接液冷(Waterless Two-Phase DLC)技術。利用冷卻液在晶片表面直接氣化的特性,可支援超過 4,000W 的熱設計功耗(TDP)與大於 250W/cm² 的熱通量(Heat flux),實現低至 1.03 的年化部分電源使用效率(pPUE)。
- 高效能儲存機櫃: 專為在無 I/O 瓶頸下供應 Agentic AI 資料所設計,神雲科技的儲存機櫃搭載 DDN Infinia 智能 AI 資料平台,採用 7 台 1U 規格的 GC68C-B8056 儲存伺服器,能為連續不斷的資料流提供超高吞吐量與低延遲效能。
以全面的伺服器平台擴充基礎設施
除了機櫃級架構外,神雲科技亦提供全面的伺服器平台,滿足企業客製化的部署需求:
AI 伺服器
- G4827Z6: 4U 模組化企業級 AI 伺服器,採用 NVIDIA MGX 架構與 AMD EPYC™ 9006 SP7 處理器。可完美搭配 NVIDIA RTX PRO 4500 與 6000 Blackwell Server Edition GPU,因應多元的推論工作負載。
- G2610Z6: 緊湊型 2U 邊緣 GPU 伺服器,搭載 AMD EPYC™ 9006 SP8 處理器。能與 NVIDIA RTX PRO 4500 及 6000 Blackwell Server Edition GPU 無縫整合,將強大的 AI 算力推向邊緣端。
- TN85-B8261: 雙插槽平台,支援 AMD Instinct™ MI350P PCIe 加速卡,能為特定應用提供極致高效的 AI 加速。
企業級伺服器
- R1917GC: 作為邊緣資料中心的調度大腦,這款 1U 管理伺服器無須內建 GPU,即能透過 NVIDIA Vera 與 NVIDIA Grace CPU 來協調複雜的叢集運算。
- R1610Z6: 在高密度的 1U 機箱內搭載 AMD EPYC™ 9006 SP8 處理器,為雲原生(Cloud-native)工作負載提供毫不妥協的單插槽效能。
多節點伺服器
- M2810Z6: 2U2N 多節點伺服器,搭載 AMD EPYC™ 9006 SP7 處理器,專為軟體定義超融合基礎設施(HCI)最佳化運算密度。
- C2611Z6: 專為 OCP ORv3 機櫃設計的液冷多節點伺服器,搭載 AMD EPYC™ 9006 SP8 處理器。在小巧的 2OU 尺寸中整合了四個運算節點,每節點支援 16 組 DDR5-8000 RDIMM 插槽與 OCP 3.0 擴充,是高密度液冷基礎設施的理想選擇。
