當 AI 開始「自己去冰箱拿資料」：NVIDIA 與 Amazon 聯手搞 GIDS，CPU 突然像被踢出群組的老主管？ #AI #NVIDIA #輝達 #Amazon #AWS #GIDS #GDS #GPU #HBM #HBF #AI伺服器 #資料中心 #半導體 #高速運算 #生成式AI

 

以前的 AI 資料中心，很像一家超大型火鍋店。

GPU 是那群超會吃、超會工作的工讀生；SSD 是冰箱；CPU 則像店長。
每次 GPU 想拿食材，都得先跟 CPU 說：

「店長，我想拿牛肉。」
CPU：「等一下，我幫你登記。」
GPU：「那我再拿蝦子。」
CPU：「等等，我還在跑流程。」

結果 GPU 明明超強，卻有大量時間都在「等資料」。

這也是近年 AI 世界最大的問題之一：

不是 GPU 不夠快，
而是「資料搬運流程」太慢。

如今，NVIDIA 與 Amazon 正準備把這個問題直接拆掉。

最新方向就是：

GPU 不想再經過 CPU 了

這次的核心概念叫：

「GPU 發起直接儲存訪問」（GPU-Initiated Direct Storage，簡稱 GIDS）

簡單講：

以前是 CPU 幫 GPU 去冰箱拿資料。
現在變成 GPU 自己直接衝去冰箱翻食材。

這聽起來像小改版，
但實際上可能是 AI 基礎架構的大地震。

因為現在的大型 AI 模型，早就不是幾 GB 的世界。

而是：

• 幾十 TB 的訓練資料
• 超巨大向量資料庫
• 多節點模型同步
• 即時推論快取
• AI Agent 長記憶體

當資料量暴增時，GPU 最大痛苦不是算力不夠，
而是：

「資料餵不飽。」

這也是為什麼現在 AI 世界有種奇妙現象：

明明 GPU 一張比一張貴，
但很多時間它其實像在公司等電梯。

GDS 是第一代，GIDS 是第二代

其實 NVIDIA 之前就已經推出過 GDS（GPUDirect Storage）。

但現在的 GIDS，才是真正的大進化。

你可以把兩者理解成：

• GDS：CPU 幫你叫 Uber Eats
• GIDS：GPU 自己直接開車去 Costco 搬貨

差異非常巨大。

GDS vs GIDS 差在哪？

項目	GDS（第一代）	GIDS（第二代）
核心概念	GPU 可直接讀取儲存資料	GPU 主動控制儲存存取
CPU角色	仍需協調與管理	幾乎被繞過
資料流程	SSD → CPU協調 → GPU	SSD ↔ GPU直接互動
延遲	已大幅降低	更低
GPU利用率	提升明顯	接近極限壓榨
適合場景	AI訓練、大型資料載入	超大型模型、Agent AI、即時推論
對CPU負擔	仍有壓力	大幅減輕
軟體複雜度	中等	很高
硬體需求	高速SSD即可	需新平台與控制架構
成本	較低	很高
產業影響	加速AI資料搬運	可能重構整個資料中心架構

為什麼 NVIDIA 這麼急著推 GIDS？

答案其實很簡單：

HBM 快不夠用了。

現在 AI 世界最貴的東西之一，就是 HBM。

很多人以為 AI 世界最值錢的是 GPU。

錯。

真正稀缺到像演唱會 VIP 門票的，
其實是：

HBM。

HBM 是什麼？

HBM（High Bandwidth Memory，高頻寬記憶體）是一種超高速記憶體。

它最大的特色就是：

「離 GPU 超近。」

近到像什麼？

像公司裡直接坐老闆旁邊的人。

速度超快，頻寬超高，延遲超低。

所以現在：

• SK hynix
• Samsung Electronics
• Micron Technology

全部都在瘋狂衝 HBM。

因為沒有 HBM，AI GPU 根本跑不起來。

問題是：

HBM 很貴。

而且容量也有限。

HBM 現在最大的痛點：太小、太貴

HBM 雖然快，
但它有幾個超級現實問題：

1. 成本爆炸
2. 容量有限
3. 散熱困難
4. 封裝超難
5. 良率壓力巨大

這也是為什麼現在很多 AI 公司開始想：

「能不能不要把所有資料都塞進 HBM？」

於是 HBF 開始冒出來。

HBF 是什麼？

HBF（High Bandwidth Flash）

簡單講：

它想當「比較便宜的大容量版本」。

如果 HBM 是跑車副駕駛座：

HBF 比較像後車廂。

雖然速度沒那麼誇張，
但容量超大、成本便宜很多。

而 GIDS 的出現，
正好讓 GPU 可以更直接地使用 HBF。

這就是關鍵。

HBM vs HBF：誰才是 AI 世界真正主角？

很多人現在開始誤會：

HBF 是不是要取代 HBM？

其實不是。

比較像：

一個是短跑選手，
一個是貨運卡車。

項目	HBM	HBF
全名	High Bandwidth Memory	High Bandwidth Flash
類型	高速記憶體	高速快閃儲存
速度	極快	比SSD快，但低於HBM
延遲	超低	較高
容量	較小	超大
成本	非常昂貴	相對便宜
功耗	高	較低
散熱需求	很高	較容易
封裝難度	極高	較低
適合場景	即時計算	大模型資料池
AI角色	主戰核心	後勤補給
未來定位	核心高速區	AI擴充記憶池

為什麼 HBF 可能突然爆紅？

因為 AI 模型越來越肥。

以前模型像：

「一個大學生報告檔。」

現在的模型像：

「整座圖書館。」

例如：

• 多模態 AI
• AI Agent
• 長上下文模型
• 世界模型
• AI 搜尋引擎
• 巨型向量資料庫

這些東西都需要：

超大量儲存。

問題來了。

如果全部塞 HBM：

成本會像燒鈔票。

所以現在產業開始出現新思路：

「把最重要的資料放 HBM，其他放 HBF。」

這很像：

• HBM = CPU 的 L1 Cache
• HBF = 超大型外掛記憶區

而 GIDS 的作用，
就是讓 GPU 可以更有效率地直接調用這些資料。

這件事真正恐怖的地方

很多人以為：

這只是 NVIDIA 又推出一個新技術。

其實不是。

它真正恐怖的是：

「AI 基礎架構正在重新洗牌。」

因為以前資料中心的世界是：

CPU 當老大。

所有東西都經過 CPU。

但現在 AI 時代開始變成：

GPU 自己組隊。

GPU 自己拿資料。
GPU 自己管理流程。
GPU 自己調度儲存。

CPU 開始有點像：

「以前很重要，但現在大家不太找他的主管。」

這也是為什麼現在很多人開始討論：

未來資料中心會不會變成：

GPU-Centric Architecture（GPU 中心化架構）

Intel 現在壓力其實超大

這件事某種程度上，
對 Intel 壓力非常大。

因為 Intel 過去最大的優勢：

就是 CPU 生態系。

但如果 AI 世界開始：

• GPU 自己調資料
• GPU 自己管理儲存
• GPU 自己協調運算

那 CPU 的重要性可能會下降。

雖然短期內不會消失，
但角色可能從：

「主角」

慢慢變成：

「行政總務部。」

Amazon 為什麼也跳進來？

因為 AWS 現在超需要這種架構。

Amazon Web Services 的核心問題之一是：

AI 客戶越來越吃資源。

尤其大型 AI 訓練。

如果 GPU 閒置時間下降：

AWS 可以賺更多。

因為同樣的 GPU：

能做更多工作。

這對雲端商來說超重要。

畢竟現在 AI GPU 不只是昂貴。

而是：

貴到像租台北蛋黃區豪宅。

最後會變成什麼世界？

未來幾年，AI 產業可能會出現三件事：

1. GPU 越來越像小型作業系統

它不只負責算。

還開始：

• 管理資料
• 控制儲存
• 調度記憶體
• 協調運算

GPU 正在從「加速器」變成「中央大腦」。

2. HBM 會越來越貴

因為需求根本爆炸。

尤其：

• AI訓練
• 推論
• Agent
• Robot AI
• 自駕

全部都在搶 HBM。

所以未來：

誰掌握 HBM 供應，
誰就掌握 AI 戰爭補給線。

3. HBF 可能成為 AI 世界的新基建

很多人現在還沒注意 HBF。

但它很可能變成：

AI 時代的「超大型資料油庫」。

因為不是所有資料都值得塞進超昂貴 HBM。

而 GIDS 則像：

GPU 與 HBF 之間的新高速公路。

結論：AI 世界開始出現「GPU 自治時代」

以前的資料中心像公司：

CPU 是主管。
GPU 是員工。
SSD 是倉庫。

現在 AI 世界開始變成：

GPU 自己當主管。

它不想再等 CPU 批流程。

它要自己去倉庫搬貨。

而 NVIDIA 與 Amazon 正在做的事情，
本質上就是：

把 GPU 從「超強員工」升級成「資料中心老大」。

至於 HBM 與 HBF？

未來可能就像：

• HBM = 超跑引擎
• HBF = 超大型油箱

少了誰都跑不遠。

而當 GIDS 正式成熟後，AI 世界很可能正式進入：

「GPU 直接統治資料流」的新時代。