AI Tools26 ott 2026

DeepInfer, DeepSeek apre il suo motore di inferenza

DeepSeek ha pubblicato il 20 ottobre DeepInfer, il framework di inferenza che usa internamente per far girare DeepSeek-V4.1-Flash su larga scala. È open source con licenza Apache 2.0 e ha già superato le 20.000 stelle su GitHub.
Dentro ci sono i kernel ottimizzati di casa (FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect), il parallelismo (Attention DP, CP bilanciato, MoE EP+EPLB), DSpark con verifica programmata in base alla confidenza, lo SWA bounded replay, lo scheduling asincrono, l'inferenza indipendente dal batch e gli output strutturati (regex, JSON Schema, EBNF). Gira su GPU NVIDIA SM100 e NPU Huawei Ascend 950.
Questa versione copre l'inferenza offline: per un servizio completo mancano ancora il sistema di KV cache, la separazione prefill/decode e il bilanciamento fra repliche. Nei benchmark ufficiali su V4.1-Flash tocca circa 89.000 token/s per GPU in prefill e 26.000 in decode.
Accanto c'è deepseek-recipe (licenza MIT): librerie Rust con binding Python che convertono le richieste nei formati Messages, Chat Completions e Responses, le trasformano in prompt per i modelli DeepSeek e ne rileggono l'output, così da collegare un backend di inferenza alle API. DeepInfer nasce da vLLM, con spunti da SGLang e TensorRT-LLM.

Fonti

AI Tools26 ott 2026

DeepSeek ha pubblicato il 20 ottobre DeepInfer, il framework di inferenza che usa internamente per far girare DeepSeek-V4.1-Flash su larga scala. È open source con licenza Apache 2.0 e ha già superato le 20.000 stelle su GitHub.
Dentro ci sono i kernel ottimizzati di casa (FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect), il parallelismo (Attention DP, CP bilanciato, MoE EP+EPLB), DSpark con verifica programmata in base alla confidenza, lo SWA bounded replay, lo scheduling asincrono, l'inferenza indipendente dal batch e gli output strutturati (regex, JSON Schema, EBNF). Gira su GPU NVIDIA SM100 e NPU Huawei Ascend 950.
Questa versione copre l'inferenza offline: per un servizio completo mancano ancora il sistema di KV cache, la separazione prefill/decode e il bilanciamento fra repliche. Nei benchmark ufficiali su V4.1-Flash tocca circa 89.000 token/s per GPU in prefill e 26.000 in decode.
Accanto c'è deepseek-recipe (licenza MIT): librerie Rust con binding Python che convertono le richieste nei formati Messages, Chat Completions e Responses, le trasformano in prompt per i modelli DeepSeek e ne rileggono l'output, così da collegare un backend di inferenza alle API. DeepInfer nasce da vLLM, con spunti da SGLang e TensorRT-LLM.