負責Google雲端資料中心業務的Google首席技術專家暨AI基礎建設資深副總裁Amin Vahdat首度訪台,就成為SEMICON Taiwan大師論壇的開場演講嘉賓。有別於輝達鼓吹AI資料中心業者多使用通用GPU以橫跨訓練、推論與代理式AI,Vahdat不論在演說或媒體訪談中皆多次強調,專用晶片才是王道。
Vahdat指出,現在正值第二波硬體專用化(hardware specialization)浪潮風起雲湧之際,摩爾定律已無法繼續推動通用晶片效能提升與功耗下降,若要維持進步幅度、滿足AI算力高達10倍增長的需求,就必須走向專用化硬體,尤其當整體算力規模不斷擴張下,為某些特定應用打造專用晶片的潛在市場規模也會隨之擴大,達到具備顯著投資報酬率(ROI)時,Google就會開發專屬的晶片來最大化投報率,而這也是Google評估要不要開發某個應用專屬晶片的關鍵決定因素。
他舉例,以前Google的AI ASIC TPU既做模型訓練、也做推論,不過大約兩年前,Google判定「推論(inference)」和「訓練(training)」功能各自獨立的需求已經足夠龐大,為了推論與訓練開發專屬的晶片以與之搭配的伺服器,將會是一項高投資回報的專案,所以Google今年推出了TPU 8t與8i。
AI不斷進化,隨著推論能力成熟,驅動了代理式AI的橫空出世,更成為最新的算力「吞金獸」,黃仁勳說輝達的GPU是AI推論效能之王,輝達的GPU也的確因為代理式AI興起而接獲更多的訂單。然而Vahdat卻認為,AI代理可能會催生出全新類別的晶片,因為AI代理將會接管越來越多的任務,他預期,專用晶片將會隨著代理式AI的發展而細分出更多種類,去執行更高度專業化的任務。
在專用晶片成為王道下,Vahdat認為現在已經出現硬體的「文藝復興」時代,並處於非常早期的階段,也因此,封裝的尺寸持續增大,「I/O牆」的瓶頸迫切需要打破、晶粒對晶粒(Die-to-die)的連接將變得絕對關鍵,3D封裝真的讓封裝內能塞入更多元件,並順利將資料傳出,將運算移至更靠近記憶體的趨勢也令人振奮,還有散熱與供電系統的升級等,未來甚至會出現一路深入至封裝層級的更深度光學整合。


