di
Sergio Donato
OpenAI ha pubblicato i primi benchmark di Jalapeño. Fino a 3,6 volte meno latenza rispetto ai sistemi Nvidia e quasi il doppio dei token elaborati per ogni kW
OpenAI ha diffuso i primi risultati misurati di Jalapeño, il chip ASIC (un circuito integrato progettato per un solo compito, in questo caso l'inferenza) “fatto in casa” e annunciato a giugno insieme a Broadcom. Secondo OpenAI un sistema diretto da Jalapeño restituisce risposte più rapide e sostiene più lavoro per ogni watt consumato rispetto ai migliori acceleratori oggi disponibili, senza il compromesso tra velocità e capacità che di norma grava sull'hardware da data center.
I test sono stati condotti su InferenceX, una piattaforma di benchmark pubblica sviluppata da SemiAnalysis che misura l'intero ciclo di una richiesta a un LLM.
