HBM、DDR，AI如何改變記憶體架構？

📰 Signal

為什麼現在大家開始搶DRAM？

如果各位最近有關注 AI 或半導體新聞，你可能會發現，除了 NVIDIA、AMD 等 AI 晶片持續受到關注之外，

高頻寬記憶體(High Bandwidth Memory, HBM)，正快速成為市場焦點，也是韓國最大的半導體動力來源。

近期，SK 海力士宣布加速 HBM4 布局，三星、美光也積極投入新一代 HBM 技術；

另一方面，美光持續擴大台灣 DRAM 與 HBM 相關投資，台灣封裝、設備、材料等供應鏈也因此受惠。

市場甚至開始認為，AI 的下一波競爭，不只是 GPU，更是記憶體的競爭。

AI 的核心不是 GPU 和大型語言模型嗎？

為什麼新聞焦點，卻開始從 GPU，逐漸轉向過去較少受到關注的記憶體？

答案其實很簡單。

AI 的競爭，已經不只是「誰算得快」，而是「誰能更快取得資料」。

AI 愈來愈大，資料搬運開始成為瓶頸

早期電腦運算，大部分時間都在執行程式，因此記憶體的任務主要是提供足夠的容量。

但生成式 AI 出現後，情況開始改變。

今天，一個大型語言模型往往包含數百億甚至數千億個參數，每一次推論，都需要 GPU 持續讀取龐大的模型權重與中間運算資料。

如果資料無法及時送達，再強大的 GPU 也只能等待。

AI 的挑戰，不再只是打造一顆更快的晶片，而是：如何讓大量資料，持續、高效率地流向運算核心。

而這，也正是 AI 記憶體革命開始受到重視的原因。

🔍 Decode

AI 記憶體架構如何演進？

如果說 CPU、GPU 是 AI 的運算引擎，那麼記憶體就是資料流動的高速公路。

AI 模型每一次推論，都需要不斷讀取模型參數、上下文（Context）與中間運算的結果。

當模型愈來愈大、GPU 愈來愈快，真正限制效能的，往往不再是算力，而是資料是否能及時送到 GPU 手中。

因此，記憶體的發展，不只是容量增加，而是隨著 AI 運算需求改變，逐步演進成不同的架構。

回顧電腦時代到AI 時代的記憶體發展，不只是變得更快，而是讓記憶體的角色不斷改變。

從 PC 時代到生成式 AI，再到 Edge AI，不同運算需求，也推動記憶體架構歷經三個重要階段。

第一階段：容量時代(Capacity Era)

早期 PC 與企業伺服器主要追求儲存更多資料，因此 DDR、DDR2、DDR3 到 DDR4 持續提升容量與穩定性，以滿足作業系統、應用程式與企業資料的需求。

這個階段的核心，就是解決「存得下」的問題。

第二階段：高速頻寬時代(Bandwidth Era)

生成式 AI 興起後，GPU 運算能力大幅提升，真正的瓶頸開始轉向資料傳輸。HBM 透過 3D 堆疊、TSV 與先進封裝，大幅提高資料頻寬，

讓 GPU 能快速讀取模型參數與運算結果，支撐大型語言模型、AI 訓練與高效能運算。

這個階段的重點，是解決「傳得快」的問題。

第三階段：多元最佳化時代(AI Everywhere Era)

隨著 AI 從資料中心延伸到 AI PC、手機、機器人、自駕車與智慧工廠，不同應用開始需要不同的記憶體架構。

資料中心以 HBM 追求最高頻寬；

終端裝置則依需求選擇 LPDDR、DDR5、GDDR 或 CXL Memory，在效能、功耗、成本與延遲之間取得最佳平衡。

記憶體的發展，也從單一規格競賽，走向依場景最佳化。

這個階段的重點，是解決「用得對」的問題。

我們可以發顯，AI 記憶體的演進，不只是規格提升，而是隨著 AI 運算需求改變，從「存得下」，到「傳得快」，最後走向「用得對」。

🌏 Impact

AI 的競爭，走向 Token 生產效率競爭

每一次對話、每一段程式碼、每一張圖片，都是大量 Token 經過模型運算後所產生的結果。

因此，企業真正關心的，不再只是模型有多大，而是每秒能產生多少 Token，以及每個 Token 的成本。

這也讓 AI 基礎建設的競爭開始改變。

目前，大型模型主要受限於記憶體頻寬與資料搬運效率，因此 HBM 成為資料中心的關鍵技術；

而在 AI PC、機器人、智慧車與 Edge AI 等場景，則需要兼顧功耗、成本與即時性，發展出不同的記憶體架構。

未來，當記憶體瓶頸逐漸改善後，跨 GPU、跨伺服器甚至雲端與邊緣之間的高速通訊與互連能力，

很可能成為下一個限制 Token 生產效率的關鍵。以此，我們可以發現:

AI 基礎建設的演進，其實就是一場持續提升 Token 生產效率的過程。從 Compute、Memory，到未來的 Network，每一次技術突破，都在讓 AI 更快、更便宜地把 Token 送到使用者手中。

🧩 Opportunity

台灣AI 產業會有什麼改變？

提到 AI 記憶體，大多數人想到的是 SK 海力士、三星或美光等國際HBM 大廠。

台灣 Memory 產業不是全面追趕國際 HBM 大廠，而是依不同 AI 場景形成差異化定位。

南亞科可朝高階 DDR5、LPDDR5及客製化 AI DRAM升級；

華邦電則可深耕低功耗、車用、工控與 Edge AI所需的利基型記憶體；

群聯則有機會將 NAND與 SSD進一步轉化為 AI記憶體延伸與資料流平台。

再結合台積電先進製程與封裝、日月光封測，以及載板、散熱與伺服器系統業者，

台灣真正的優勢，不是單一記憶體產品，而是能依資料中心、AI PC、智慧車、機器人與 Edge AI等不同場景，

整合 DRAM、Flash、SSD、封裝與系統。

當 AI 的瓶頸從運算走向記憶體，再逐步轉向高速互連，最有機會的台灣廠商，將是那些能從不同場景切入，持續移除 Token 生產瓶頸的業者。

📈  Outlook

產業的競爭態勢在哪？

這也意味著，AI 時代的競爭，將逐漸從單一記憶體規格，轉向整體記憶體架構與資料流效率的競爭。

未來真正受惠的，不一定只有 HBM 或 DRAM 製造商，而是能因應不同 AI 場景，

整合高頻寬、低延遲、低功耗與高速互連等技術的完整供應鏈。

從 HBM、DDR5、LPDDR，到先進封裝、Chiplet、CXL Memory 與 Edge AI 平台，都將成為提升 Token 生產效率 的重要基礎設施。

隨著 AI 應用日益多元，市場關注的焦點也將從「一種記憶體」，轉向「整個 AI 記憶體生態系」，甚至進一步延伸至完整的 AI 基礎建設。

AI 時代的競爭，不再只是晶片的競爭，而是誰能建構最有效率的 AI 基礎建設，持續提升 Token 生產效率的競爭。

💡 AI Insight

AI 觀點

如果說過去二十年的記憶體發展，是一場容量革命；那麼未來十年的 AI 記憶體，更像是一場資料流革命。

從 DDR、HBM，到未來的 LPDDR、CXL Memory 與異質整合，記憶體的價值，正從單純「儲存資料」，

逐漸轉變為「讓資料以最有效率的方式流動」。

未來 AI 的競爭，也不再只是誰擁有最快的記憶體，而是誰能建立最完整的 AI 記憶體架構，

並讓資料在雲端、終端與邊緣之間持續高速流動。

AI 的未來，不是比誰擁有更多記憶體，而是比誰能讓每一個 Token，以最快速度、最低成本、最高效率完成旅程。這場競賽，才正要開始。

📖 AI Dictionary

▶ 下一集預告

AI 解碼 EP04｜AI 如何擁有企業記憶？

即使擁有最快的 GPU 與 HBM，AI 仍然可能回答錯誤。

因為記憶體解決的是資料如何快速存取，卻沒有解決AI 如何取得正確知識。

下一篇，我們將拆解 RAG(Retrieval-Augmented Generation)的核心原理，了解 AI 如何連結企業文件、知識庫與資料庫，建立真正屬於企業的「軟體記憶」，讓 AI 不只是會回答，更能回答得準確。