Inception ha presentato Mercury 2.5, un modello linguistico che adotta un’architettura basata sulla diffusione anziché sulla tradizionale generazione autoregressiva.
L’azienda dichiara una velocità fino a 1.107 token al secondo su GPU NVIDIA, una finestra di contesto da 260.000 token e prezzi standard di 0,20 dollari per milione di token in input e 0,75 dollari in output.
La nuova versione arriva dopo Mercury 2 e punta soprattutto a ridurre la latenza nelle applicazioni che richiedono molte risposte del modello. La tecnologia merita attenzione perché modifica il modo in cui il testo viene prodotto: invece di calcolare ogni token esclusivamente dopo quello precedente, il modello può elaborare più posizioni contemporaneamente e raffinarle attraverso successive iterazioni.
Come funziona la generazione a diffusione di Mercury 2.5
I modelli linguistici tradizionali utilizzano una decodifica autoregressiva: ogni token generato contribuisce alla previsione del successivo, creando una sequenza di operazioni fortemente dipendenti l’una dall’altra. Mercury segue un approccio differente. Il modello parte da una rappresentazione incompleta o rumorosa della sequenza e la modifica progressivamente, correggendo più posizioni nello stesso passaggio. La tecnica deriva concettualmente dai modelli di diffusione utilizzati nella generazione di immagini, ma nel testo deve gestire token discreti e relazioni semantiche molto più vincolanti.
