OpenAI ha pubblicato i primi risultati prestazionali di Jalapeño, il suo primo acceleratore proprietario progettato specificamente per l'inferenza dei modelli di intelligenza artificiale. Il progetto rappresenta un passaggio importante nella strategia infrastrutturale di OpenAI, che punta a controllare in modo più diretto non soltanto i modelli e il software, ma anche chip, memoria, rete e sistemi destinati a eseguire i carichi di lavoro.
Secondo i dati condivisi da OpenAI, Jalapeño è stato progettato per evitare uno dei compromessi tipici dei sistemi di accelerazione AI: ottenere un throughput elevato sacrificando la latenza oppure privilegiare la rapidità di risposta a scapito dell'efficienza complessiva. L'architettura punta invece a combinare maggiore capacità di elaborazione, minore latenza e un miglior rapporto tra lavoro AI completato e potenza consumata.
I test sono stati condotti utilizzando InferenceX, benchmark pubblico sviluppato da SemiAnalysis che misura l'intero processo di serving di una richiesta AI. OpenAI ha confrontato Jalapeño con sistemi commerciali disponibili sul mercato (NVIDIA Blackwell) lungo diversi passaggi operativi, dai carichi orientati al massimo throughput fino agli scenari altamente interattivi e caratterizzati da requisiti stringenti sulla latenza.
