OpenAI ha aperto il 13 agosto una preview limitata di Ultrafast, una modalità di serving accelerata per GPT-5.6 Sol che, secondo l'azienda, arriva a funzionare fino a 14x più velocemente dell'inferenza standard, raggiungendo fino a 750 token di output al secondo.
La novità
L'accelerazione nasce da una partnership con Cerebras. La flotta di serving di OpenAI si basa altrimenti su Nvidia, e questa è la prima volta che l'azienda esegue pubblicamente un modello frontier su un acceleratore di un altro fornitore su scala produttiva. Cerebras realizza processori wafer-scale che mantengono i pesi del modello nella memoria on-chip, motivo per cui i suoi numeri di inferenza sono sempre stati rapidi — la domanda aperta era se un laboratorio frontier li avrebbe davvero distribuiti.
Cosa cambia con 750 token al secondo
Alle velocità frontier standard, una lunga traiettoria agentica si misura in minuti. A questo ritmo un modello conclude un paragrafo più velocemente di quanto una persona lo legga, spostando intere categorie di prodotto dall'asincrono all'interattivo. OpenAI ha citato incident response, customer service, financial analysis ed e-commerce — tutti casi in cui il vincolo è l'attesa, non la risposta.
I limiti dichiarati
Si tratta di una preview per un insieme selezionato di clienti, e OpenAI ha affermato che amplierà l'accesso "man mano che la capacità cresce" — un'ammissione che è la capacità di Cerebras, non la domanda, a fissare il tetto. Non è stato pubblicato alcun prezzo, e i valori 14x e 750 sono limiti superiori, non throughput sostenuto.
Perché conta oltre la latenza
Ogni grande acquirente di inferenza ha trascorso due anni cercando di assicurarsi una seconda fonte. Il fatto che un laboratorio frontier serva il proprio modello di punta su hardware non Nvidia è la prova più forte finora che il silicio alternativo funziona per qualcosa di più dei benchmark.