AI ToolsOct 26, 2026Article in Italian

DeepInfer, DeepSeek apre il suo motore di inferenza

DeepSeek ha pubblicato il 20 ottobre DeepInfer, il framework di inferenza che usa internamente per far girare DeepSeek-V4.1-Flash su larga scala. È open source con licenza Apache 2.0 e ha già superato le 20.000 stelle su GitHub.
Dentro ci sono i kernel ottimizzati di casa (FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect), il parallelismo (Attention DP, CP bilanciato, MoE EP+EPLB), DSpark con verifica programmata in base alla confidenza, lo SWA bounded replay, lo scheduling asincrono, l'inferenza indipendente dal batch e gli output strutturati (regex, JSON Schema, EBNF). Gira su GPU NVIDIA SM100 e NPU Huawei Ascend 950.
Questa versione copre l'inferenza offline: per un servizio completo mancano ancora il sistema di KV cache, la separazione prefill/decode e il bilanciamento fra repliche. Nei benchmark ufficiali su V4.1-Flash tocca circa 89.000 token/s per GPU in prefill e 26.000 in decode.
Accanto c'è deepseek-recipe (licenza MIT): librerie Rust con binding Python che convertono le richieste nei formati Messages, Chat Completions e Responses, le trasformano in prompt per i modelli DeepSeek e ne rileggono l'output, così da collegare un backend di inferenza alle API. DeepInfer nasce da vLLM, con spunti da SGLang e TensorRT-LLM.

Sources

AI ToolsOct 26, 2026Article in Italian

DeepSeek ha pubblicato il 20 ottobre DeepInfer, il framework di inferenza che usa internamente per far girare DeepSeek-V4.1-Flash su larga scala. È open source con licenza Apache 2.0 e ha già superato le 20.000 stelle su GitHub.
Dentro ci sono i kernel ottimizzati di casa (FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect), il parallelismo (Attention DP, CP bilanciato, MoE EP+EPLB), DSpark con verifica programmata in base alla confidenza, lo SWA bounded replay, lo scheduling asincrono, l'inferenza indipendente dal batch e gli output strutturati (regex, JSON Schema, EBNF). Gira su GPU NVIDIA SM100 e NPU Huawei Ascend 950.
Questa versione copre l'inferenza offline: per un servizio completo mancano ancora il sistema di KV cache, la separazione prefill/decode e il bilanciamento fra repliche. Nei benchmark ufficiali su V4.1-Flash tocca circa 89.000 token/s per GPU in prefill e 26.000 in decode.
Accanto c'è deepseek-recipe (licenza MIT): librerie Rust con binding Python che convertono le richieste nei formati Messages, Chat Completions e Responses, le trasformano in prompt per i modelli DeepSeek e ne rileggono l'output, così da collegare un backend di inferenza alle API. DeepInfer nasce da vLLM, con spunti da SGLang e TensorRT-LLM.