Arcfra veröffentlicht Neutree 1.1 mit nativer GPU-Virtualisierung für KI-Inferenz

Arcfra hat mit Neutree 1.1 eine neue Version seiner Model-as-a-Service-Plattform für KI-Inferenz veröffentlicht. Die Ausgabe ergänzt native GPU-Virtualisierung und einheitliche Modell-Governance, um Auslastung, Zugriff und Audits in Unternehmensumgebungen zentral zu steuern.

Die neue Version wurde am 21. Juli 2026 von Arcfra veröffentlicht. Laut dem Anbieter ergänzt Neutree 1.1 die bestehende GPU-Passthrough- und logische Isolierung um native vGPU-Unterstützung. GPU-Ressourcen lassen sich dabei nach Speicher und Rechenkapazität aufteilen. Arcfra richtet die Version auf KI-Inferenz für LLMs, OCR, ASR, Embedding- und Rerank-Modelle aus.

Mehr Auslastung pro GPU

Arcfra beschreibt ein typisches Problem in Unternehmensumgebungen: Leichtgewichtige Modelle oder kleine Modelle mit hoher Parallelität belegen bei klassischem GPU-Passthrough oft eine komplette GPU. Neutree 1.1 soll dieses Muster aufbrechen. Eine GPU kann mehrere Modellinstanzen für OCR, Sprache, Embedding, Rerank und parallele Inferenzdienste ausführen. Für latenzkritische LLM-Workloads bleibt GPU-Passthrough mit voller Kartenbelegung erhalten.

Zusätzlich zeigt Neutree 1.1 laut Arcfra die GPU-Nutzung auf Knotenebene global an. Administratoren sehen, wie einzelne Nodes und GPUs genutzt werden, und können Ressourcen nach tatsächlichem Bedarf zuweisen, planen und aufteilen. Der Anbieter spricht von hart isolierten Partitionen, damit mehrere Modellinstanzen auf derselben GPU ohne gegenseitige Beeinflussung laufen.

Einheitliche Regeln für Modelle

Mit Version 1.1 erweitert Arcfra auch das Modell-Gateway um eine einheitliche Governance-Schicht für interne und externe Modelle. Genannt werden vier typische Probleme: fehlende Transparenz bei Token-Verbrauch und Anfragen, grobe Quotensteuerung, verteilte API-Schlüssel sowie begrenzte Nachvollziehbarkeit bei Aufrufen. Bestehende Aufrufmuster von Anwendungen sollen dafür nicht geändert werden müssen.

Die Plattform erfasst Token-Nutzung und Anfrageaktivität nach API-Key und Modell. Administratoren können Token-Quoten pro API-Key setzen sowie Rate Limits, Parallelitätsgrenzen und Modellzugriffe steuern. Für Audits protokolliert Neutree 1.1 laut Arcfra Details auf Anfrageebene, darunter Quelle, API-Key, Modell, Status, Token-Nutzung, Durchsatz, Latenz und Abschlussgrund. Veröffentlicht wurde die Version am 21. Juli 2026.