- 液冷 LPX 機架包含 256 顆由三星製造的 Groq 晶片，專為低延遲 AI 推理設計。
- 英偉達稱，該機架每秒可處理 3,400 個 token，在原文與 Cerebras 驅動推理系統的對比中展現出量化的效能優勢。
- 此次部署將英偉達以 200億美元收購 Groq 資產所得的技術和人才實現商業化，該交易於 12 月宣佈。
- 目前採用仍集中於一個明確點名的客戶 Nebius，且該產品專注於推理，而非通用 AI 工作負載。
引述
“每秒 3,400 個 token”
英偉達將 Groq 推理機架投入生產
Yahoo Finance · 14 天前