DeepSeek veröffentlicht Inferenzsoftware DeepInfer unter Apache-Lizenz

DeepSeek hat DeepInfer als quelloffene Software zum Ausführen seiner KI-Modelle veröffentlicht. Das System steckt nach Anbieterangaben bereits hinter den eigenen Produktionsdiensten. Die Veröffentlichung umfasst zentrale Funktionen, aber noch keinen vollständigen Dienst zur Verarbeitung von Anfragen.

Das auf GitHub veröffentlichte Projekt steht unter der Apache-Lizenz 2.0, einer freizügigen Lizenz für quelloffene Software, und unterstützt das Modell DeepSeek-V4.1-Flash. DeepInfer übernimmt die Inferenz, also das Ausführen eines bereits trainierten KI-Modells. Die bereitgestellte Fassung ermöglicht zunächst nur die Stapelverarbeitung von Eingaben ohne einen Dienst, der Anfragen entgegennimmt. Für einen vollständigen Betrieb fehlen unter anderem ein Zwischenspeicher für bereits berechnete Schlüssel- und Wertvektoren (KV-Cache), der deren erneute Berechnung erspart, und die Lastverteilung zwischen parallel arbeitenden Modellkopien.

Reproduzierbare und strukturierte Ausgaben

DeepInfer kann Ausgaben auf vorgegebene Strukturen begrenzen, etwa das Datenformat JSON oder eine formale Grammatik. Auf NVIDIA-Hardware lassen sich außerdem identische Ergebnisse unabhängig von der Zusammensetzung gemeinsam verarbeiteter Anfragen aktivieren. Mit zusätzlichen Einstellungen erzeugt das System bei identischen Eingabedaten und Auswahlparametern dieselben Ausgaben. Eine standardmäßig eingeschaltete Funktion überlappt die Planung solcher Anfragegruppen mit der Ausführung auf dem Beschleuniger, also dem Grafikprozessor oder spezialisierten KI-Prozessor, der das Modell ausführt.

Spezielle Beschleuniger als Voraussetzung

DeepInfer unterstützt NVIDIA-Grafikprozessoren der Architektur SM100, einer Generation von NVIDIA-Grafikprozessoren, und KI-Beschleuniger vom Typ Huawei Ascend 950. Die Installation setzt Linux, GCC ab Version 13.0 als Werkzeug zum Übersetzen von Programmcode und eine Laufzeitumgebung für die Programmiersprache Python in Version 3.12 voraus. Hinzu kommen CUDA 13, NVIDIAs Programmierplattform für Grafikprozessoren, beziehungsweise CANN 9.2, Huaweis Softwareplattform für Ascend-Beschleuniger. Beim ersten Ausführen lädt das Beispielprogramm die Modelldateien von deepseek-ai/DeepSeek-V4.1-Flash-1017 herunter. Alternativ lässt sich eine lokale Kopie verwenden. DeepSeek führte seine Leistungsmessungen mit vier SM100-Grafikprozessoren für die Eingabeverarbeitung und 64 für die Ausgabeerzeugung durch.