本週一句話:當頭部廠商開始試圖掌握推理基礎設施的議價權,一場意外的 API 中斷卻讓中國模型獲得了被看見的窗口——但這個窗口究竟有多大,仍待驗證。

推理硬體:OpenAI 自研晶片與持續擴張的算力需求

本週最具實質意義的新聞是 OpenAI 與 Broadcom 共同發表首款專為 LLM 推理優化的晶片。CNN 報導這是 OpenAI 首次擁有自研晶片OpenAI just announced its first custom chip to help ChatGPT run better - CNN,OpenAI 自身亦說明這是一款專為推理優化的晶片OpenAI and Broadcom unveil LLM-optimized inference chip - OpenAI,WSJ 則確認這是 OpenAI 與 Broadcom 共同設計的推理用客製晶片OpenAI, Broadcom Develop Custom Chip for AI Inference - WSJ。

與替代方案相比:Nvidia H 系列仍是市場主流;OpenAI 選擇與 Broadcom 合作而非完全自建,反映出晶片設計與製造分工的模式仍然高效。短期內 Nvidia 仍是首選,但這個新聞代表的是「買方試圖掌握議價權」的訊號,而非 Nvidia 技術已被超越。需求面也印證了這點:Super Micro 支援的一家 AI 公司本週拿下高達 78 億美元的 Nvidia 晶片訂單Super Micro-Backed AI Firm Bags $7.8 Billion Deals With Nvidia Chips in Demand - Barron's,顯示市場對主流晶片的胃納仍然旺盛。

對工程決策者的意涵:OpenAI-Broadcom 晶片代表頭部買方開始尋求對推理硬體更大的掌控權。若你的 workload 可以迁移,現在是開始關注這類自研路線的時間點——但代價是接受更長的適應周期與潛在的生態鎖定,而具體的成本節省幅度需等晶片量產後才有實質數據。