快訊

搶攻地端AI商機 華碩推論加速卡直球解企業算力瓶頸

搶攻地端AI商機 華碩推論加速卡直球解企業算力瓶頸

mirror-daily-logo

2026/10/28 20:52:00最後更新 2026/10/28 20:52:26

記者:

吳筱雯

攝影:

鄒保祥

隨著大型語言模型與AI代理加速從雲端走向工作站,越來越多企業有在地端執行代理式AI的需求,華碩宣布推出推論加速卡UGen B70,內建32GB GDDR6 ECC超大容量記憶體、專為推論優化的硬體架構,以直球面對地端AI痛點。
華碩表示,AI工作非常消耗記憶體,例如很長的上下文推理會大幅增加KV快取用量,而多個AI代理同時部署也需要同時執行多個模型、佔用VRAM,一旦容量不足,資料便會卸載至主記憶體,推論效能可能因此只剩原本的10分之1。
也因此,華碩推出推論加速卡UGen B70,採用英特爾Arc Pro繪圖/推論核心,內建32GB、具ECC保護的GDDR6記憶體,可支援市面上大多數參數量在27B以下的模型,將其完整保留於加速卡上,此外,搭配Llama 3.1 8B,還能實現高達128K token的上下文視窗,並透過雙卡64GB或多卡128GB擴充,滿足企業AI部署所需。
華碩進一步表示,通過驗證、UGen B70可支援的模型包括Llama 3.1/3.2(8B~70B)、Qwen 3.x、DeepSeek-R1 Distill(7B–70B)、Mistral/Mixtral、OpenAI gpt-oss(20B/120B)、Whisper-large-v3與InternVL3.5,雙卡配置可以每秒43.4 token的流暢速度執行80B等級模型。
華碩指出,UGen B70鎖定三大使用者族群,專業消費者、獨立AI開發者單張32GB已夠、順利突破主流16GB AI加速卡於大型模型資源上限,而小型企業與創意工作室則需要雙卡64GB配置,可在支援更大規模部署時,將敏感資料保留於企業內部,至於企業部門級AI團隊多卡128GB系統,降低長期成本,並符合法律、醫療、政府與金融等領域的資料合規要求。

延伸閱讀

Google 設為偏好來源
Facebook 分享