Una startup francese che scommette contro il moat software di Nvidia ha rilasciato uno strumento pensato per eseguire modelli di AI quasi ovunque. ZML, società parigina, ha lanciato LLMD l'8 luglio — un server di inference per LLM gratuito progettato per eseguire modelli a pesi aperti su chip molto diversi tra loro da un unico stack. L'obiettivo, afferma il fondatore Steeve Morin, è "rompere i silos esistenti" e porre fine al lock-in dei fornitori che lega i carichi di lavoro AI a un solo produttore di hardware.

Qualsiasi modello, qualsiasi hardware

LLMD arriva con supporto nativo per cinque architetture: Nvidia CUDA, AMD ROCm, Google TPU, Intel e Apple Metal. "L'idea è restituire alle persone il potere di creare il proprio sistema e ottenere veri guadagni di efficienza", ha detto Morin a TechCrunch, aggiungendo che ZML ha "raggiunto il punto in cui co-progettiamo il silicio". Il claim dell'azienda è netto: "Qualsiasi modello. Qualsiasi hardware. Nessun compromesso."

Come è costruito

LLMD è sviluppato nel linguaggio di programmazione Zig su MLIR e OpenXLA, aggirando deliberatamente la catena di dipendenze da Python e PyTorch. Fa leva su una compilazione esplicita, ahead-of-time, così che le latenze restino "stabili e prevedibili", senza compilazione runtime nascosta. Il server si appoggia al framework open source di inference di ZML, rilasciato per la prima volta nel settembre 2024 e aggiornato alla v2 nel marzo 2026 sotto licenza Apache-2.0.

Gratuito, ma non open source

Ecco la svolta: LLMD è gratuito ma non open source — una scelta diversa rispetto al framework su cui si basa. Il ragionamento di Morin è di pazienza commerciale: "Preferisco misurare e [generare ricavi] dove è più efficace senza frenare stupidamente la mia crescita." Prima capire come viene usato, poi monetizzare.

Un controllo di realtà

La presentazione del lancio va più avanti del codice rilasciato. ZML pubblicizza sharding tensor-parallel, prefix caching e un ampio supporto ai modelli, ma un test pratico indipendente pubblicato su Hugging Face ha rilevato che l'attuale alpha è molto più limitata: solo una GPU, batch size massima di 16, niente prefix caching e supporto limitato ai modelli Llama e Qwen3. Non sono stati pubblicati numeri solidi di throughput o latenza; la promessa di velocità "a volte superiore al nativo" resta qualitativa. Le funzionalità pubblicizzate, per ora, sembrano far parte della roadmap.

Chi c'è dietro

Fondata nel 2023 con un team di circa 20 persone, ZML è guidata da Morin, ex vicepresidente dell'ingegneria di Zenly, l'app di condivisione della posizione acquisita da Snap nel 2017. La società ha raccolto 20 milioni di dollari, guidati da 20VC di Harry Stebbings con Kima Ventures di Xavier Niel, LocalGlobe e Kindred Capital, oltre a una lista di angel di primo piano: il premio Turing Yann LeCun, il fondatore di Docker Solomon Hykes e i cofondatori di Hugging Face. "Non potrei fare ZML in nessun altro posto che Parigi", ha detto Morin. L'azienda compete in un mercato dell'inference affollato, che include il colosso Baseten da 13 miliardi di dollari e i team dietro vLLM e SGLang.