黃仁勳揭神秘晶片 AI推理速度飆350倍  「光進銅退」竟意外改口「光銅並存」
黃仁勳在GTC主題演說中展示Vera Rubin(右)與Groq LP30(左)運算托盤。(圖/截字YouTube)

黃仁勳揭神秘晶片 AI推理速度飆350倍  「光進銅退」竟意外改口「光銅並存」

mirror-daily-logo

2026/03/17 08:36:00

記者:

吳筱雯

真相終於大白。黃仁勳先前賣關子的「前所未見的晶片」,其實是將輝達Vera Rubin機櫃與推理晶片Groq整合,推理Token生成速度可望提升350倍。不過比新晶片更意外的是,在今日GTC上,向來力挺「銅進光退」的黃仁勳,卻改口宣布2028、2029年的Feynman架構將走向「銅光並存」,直言「兩種我們都要」。
黃仁勳先前曾賣關子表示,將在GTC發表前所未見的晶片,今天真相大了一個白,原來是指輝達即將推出的Vera Rubin與Groq的整合。輝達在去年耶誕節前宣布,以200億美元的天價獲得推論晶片新創Groq的技術授權,並將關鍵核心人物延攬至輝達,被視為是輝達面對CSP自研的AI ASIC在推論上的硬體成本、電力消耗優勢的解方。
黃仁勳表示,GPU雖然強大,但當AI模型變得越來越大,或者上下文長度達到數百萬時,還要以極高速度生成Token(例如每秒1000 個Token)時,會「耗盡動力」,所以輝達在Vera Rubin機櫃導入Groq的LPU(語言處理單元),Groq的LPU專攻低延遲的Token生成,這樣的組合能讓Token生成速度提升350倍,在現有的電力限制下,這種組合能創造出最高的營收產出率。
而在實際應用上,他建議對於一般應用的AI資料中心,可以全數採用Vera Rubin,但若要應對的是程式編寫、科學研究或提供複雜邏輯推理的AI資料中心,則應配置25%的Groq來打破推理延遲瓶頸。
黃仁勳表示,Groq LP30已經開始量產,預計第三季就能推出,值得注意的是,有別於Grace Blackwell、Vera Rubin機櫃內每個主要的輝達晶片都是由台積電代工,搭配VR機櫃出貨的Groq LP30則是由三星代工。
黃仁勳也在GTC演說中提供即將在今年下半年出貨的VR機櫃更多細節,新的CPU Vera效能好到可以單獨出售,他預期CPU將成為輝達下一個數十億美元的業務,新的GPU Rubin單顆就內建288GB的HBM記憶體、提供3.6 Exaflops算力,而VR運算托盤的無纜線設計,將讓組裝時間由先前的兩天、縮短至兩小時,機櫃將採用第六代的NVLink頻寬大為提高,而輝達的乙太網路高速交換機Spectrum-X系列今年也跟上CPO腳步、讓光纖直接與晶片相連,而這款支援CPO的乙太網路晶片是與台積電合作。
而預計在2028年登場的Feynman架構方面,黃仁勳透露,Feynman將搭配全新的GPU與全新的CPU Rosa、加速推論晶片Groq LP40、為了提高大語言模型「記憶力」而生的BlueField-5 DPU等,不過他並未提及算力表現,反而話鋒一轉,談起輝達在銅線與光纖之間的策略。
輝達先前一直是「光進銅退」的最大支持者,不過黃仁勳今日在GTC中明確表示,「兩個我們都要」,原因在於「我們需要更多的產能」,而在應用上,Feynman機櫃內的GPU相連(Scale up)仍將採用現有的銅線,機櫃與機櫃間的互通(Scale out)則全面擁抱光纖。

延伸閱讀


promote-topic 關閉按鈕