過去兩年，只要提到 AI，大家第一個想到的大概都是 NVIDIA 的 GPU。
彷彿只要 GPU 越多，AI 就越聰明。
但如果把 AI 電腦比喻成一家餐廳，你可能會發現一件很有趣的事情。
GPU根本不是一直在炒菜的大廚，它比較像是一位站在瓦斯爐前，雙手插腰，不停喊著：
「我的食材到底送來了沒？」
最近，被稱為「HBM之父」的韓國KAIST教授金正浩，就提出了一個震撼整個科技圈的觀點。
100萬顆GPU，真正工作的時間可能只有10%。
第一次看到這句話，我還以為是哪個酸民在留言區反串。
結果，這竟然是長年研究HBM的專家所提出的分析。
GPU真的只有10%時間在工作？
很多人以為ChatGPT回答一句話，就是GPU一路瘋狂運算。
其實真正流程比較像這樣：
- 去HBM找資料。
- GPU開始運算。
- 再把結果寫回HBM。
- 下一個Token再重複一次。
問題就在於……
GPU算很快，但搬資料沒那麼快。
就像你請了一位世界最快的廚師。
結果外送員每五分鐘才送一根蔥進來。
廚師只能站在那裡發呆。
所以不是GPU不努力，而是在等待食材。
金正浩表示，真正耗費時間的是「讀取資料」與「寫回資料」，GPU真正計算的時間反而只占少數，即使透過演算法改善，利用率也很難超過30%。
也因此，他提出一句非常有意思的公式：
AI = Memory（AI就是記憶體）
為什麼AI愈來愈需要記憶體？
以前的大型AI模型，大部分時間都在「訓練」。
那時候GPU算力就是王道。
但現在不同了。
大家每天都在：
- 問ChatGPT
- 問Copilot
- 問Gemini
- 問Claude
AI開始大量進入「推理（Inference）」時代。
推理不像訓練一直重複計算，而是不停讀資料、找資料、再寫資料。
如果把GPU比成一級方程式賽車。
那HBM就是高速公路。
高速公路只有兩線道，再快的跑車也只能塞車。
所以近幾年大家一直看到HBM供不應求，不是沒有原因。
因為真正限制AI速度的，開始不是GPU，而是記憶體頻寬。
那HBM之後還有什麼？
這也是金正浩訪談最有趣的地方。
他認為HBM並不是終點。
未來還有兩位新角色準備登場。
第一位：HBF（High Bandwidth Flash）
目前HBM使用的是DRAM。
速度快。
但是容量有限，而且成本非常高。
HBF則是利用NAND Flash打造。
簡單來說。
如果HBM像你的電腦RAM。
那HBF就比較像SSD。
速度沒有HBM快。
但是容量可以做得超大。
未來AI Agent需要閱讀：
- 幾百本PDF
- 數萬頁文件
- 一整年的影片
- 整家公司資料庫
這些資料根本放不進HBM。
所以HBF就是AI的大型倉庫。
金正浩甚至預測，未來十年HBF市場規模可能超越HBM，因為AI推理需要的不只是速度，更需要龐大的資料容量。
第二位：HBS（High Bandwidth Storage）
如果HBF是大型圖書館。
那HBS更像整座國家圖書館。
概念就是把：
GPU
HBM
HBF
甚至儲存裝置
全部利用3D堆疊方式整合。
金正浩甚至形容未來AI晶片會像一棟100層摩天大樓。
GPU不再位於中心，而是放在最上層方便散熱。
下面則是一層又一層的HBM、HBF與儲存架構，讓資料能以更短距離流動，大幅降低等待時間。
這聽起來很科幻。
但回頭想想。
十年前誰會相信今天一張AI顯示卡要價數十萬元？
科技總是比小說跑得快。
這對投資人有什麼啟發？
很多人現在只盯著GPU。
但如果金正浩的判斷方向正確。
未來真正受惠的，可能不只是GPU公司。
而是整個記憶體產業鏈。
包括：
- HBM供應商
- DRAM製造商
- NAND Flash廠商
- 先進封裝技術
- 晶圓堆疊技術
- CoWoS與3D封裝
- 高速互連技術
未來AI競賽，很可能從「誰算得快」，變成「誰搬資料最快」。
就像高速公路再怎麼塞車，你買再好的跑車，也跑不出時速300公里。
最後，真正的AI瓶頸可能不是GPU
這次訪談最值得思考的，其實不是「GPU只有10%利用率」這個數字。
而是它提醒了大家一件事：
每一波科技革命，都會有新的瓶頸。
CPU時代，比的是運算能力。
手機時代，比的是低功耗。
而AI時代，比的可能是資料搬運效率。
GPU依然重要，但它不再是唯一的主角。
真正決定AI未來高度的，可能是那些過去總被當成配角的記憶體技術。
也許幾年後，我們回頭看2026年的AI產業，會發現這是一個重要轉折點。
因為大家終於開始理解：
AI不是只有會思考的大腦，更需要一個超高速、超大容量，而且永遠不會塞車的記憶體。
畢竟，再厲害的天才，如果每回答一句話都得翻半小時的資料，也只能默默坐在旁邊，等著下一份「食材」送上門。
沒有留言:
張貼留言