← Все новости

AI ·

DeepSeek открыла исходники DeepInfer — своего продакшен-движка инференсаDeepSeek open-sources DeepInfer, its production inference engine

DeepSeek выложила под Apache-2.0 движок, который, по её словам, обслуживает её собственные сервисы. Он поддерживает DeepSeek-V4.1-Flash, работает на NVIDIA SM100 и Huawei Ascend 950 и умеет детерминированный инференс; репозиторий быстро набрал более 23 тысяч звёзд.DeepSeek released under Apache-2.0 the engine it says powers its own services. It supports DeepSeek-V4.1-Flash, runs on NVIDIA SM100 and Huawei Ascend 950, and offers deterministic inference; the repo quickly passed 23k stars.

DeepSeek опубликовала DeepInfer — движок инференса под лицензией Apache-2.0. Согласно README, именно он обслуживает продакшен-сервисы компании. Публичный анонс датируется примерно 22 октября.

Что внутри

  • Поддержка DeepSeek-V4.1-Flash (по умолчанию — чекпойнт V4.1-Flash-1017, открытый под MIT).
  • Оборудование: NVIDIA SM100 и Huawei Ascend 950.
  • Attention DP, MoE с экспертным параллелизмом и балансировкой EPLB, спекулятивное декодирование DSpark, structured outputs.
  • Batch-invariant инференс и детерминированный сэмплинг (пока только на NVIDIA) — одинаковый результат независимо от состава батча. Это важно для воспроизводимых eval-ов и отладки.

Чего нет

Открыт только офлайн-инференс: в репозитории нет системы KV-кэша, разделения prefill/decode и балансировки между репликами. Готовым сервером для продакшена «из коробки» это не является — скорее эталонная реализация ядра.

Почему интересно

Редкий случай, когда лаборатория уровня DeepSeek показывает реальный продакшен-код инференса. Поддержка Ascend рядом с NVIDIA — заметный сигнал о курсе китайских компаний на собственное железо. Для команд, которые сами разворачивают модели, это материал для сравнения с vLLM и SGLang.

DeepSeek has published DeepInfer, an inference engine under Apache-2.0. According to the README, it powers the company’s production services. The public announcement dates to around Oct 22.

What is inside

  • Support for DeepSeek-V4.1-Flash (default checkpoint V4.1-Flash-1017, released under MIT).
  • Hardware: NVIDIA SM100 and Huawei Ascend 950.
  • Attention DP, MoE expert parallelism with EPLB balancing, DSpark speculative decoding, structured outputs.
  • Batch-invariant inference and deterministic sampling (NVIDIA only for now) — identical output regardless of batch composition. That matters for reproducible evals and debugging.

What is missing

Only offline inference is open: the repo has no KV cache system, no prefill/decode disaggregation and no load balancing across replicas. It is not a ready-made production server — more a reference implementation of the core.

Why it is interesting

It is rare for a lab at DeepSeek’s level to show real production inference code. Ascend support alongside NVIDIA is a clear signal of Chinese companies’ push towards domestic hardware. For teams self-hosting models, it is material to compare against vLLM and SGLang.

Источники