Voxtral 3: Mistral verbindet Spracherkennung und Sprachausgabe mit ausführbaren Aufgaben

Mistral hat mit Voxtral 3 eine neue Modellfamilie für Spracherkennung und Sprachausgabe sowie ein Entwicklungspaket für Sprachassistenten vorgestellt. Die Systeme sollen während laufender Gespräche Informationen abrufen und mehrstufige Aufgaben in angebundenen Unternehmenssystemen erledigen können.

Das Entwicklungspaket verbindet Zuhören, Schlussfolgern, Werkzeugaufrufe und Sprechen in einer gemeinsamen Echtzeitverarbeitung. Als Einsatzfelder nennt Mistral Kundenzentren, Servicestellen, virtuelle Assistenten und freihändig bedienbare Assistenzsysteme. Die Sprachassistenten können während Telefonaten oder Gesprächen über das Internet auf Daten und Funktionen zugreifen, wie Mistral in der Produktvorstellung erläutert.

Transkription mit Fachvokabular und Sprecherzuordnung

Die Transkriptionsmodelle unterstützen laut Anbieter mehr als 50 Sprachen, darunter alle 24 offiziellen EU-Sprachen. Voxtral Small Transcribe 3 kann zudem Gesprächsbeiträge einzelnen Sprechern zuordnen. Vorgegebene Schlüsselbegriffe und ergänzende Texte sollen die Erkennung von Fachvokabular verbessern, ohne ein zusätzliches Modelltraining zu erfordern. Die kleinere Variante Voxtral Mini Transcribe 3 umfasst vier Milliarden Parameter, also beim Training erlernte interne Werte, die Größe und Leistungsfähigkeit eines Modells mitbestimmen, und kostet 0,0035 US-Dollar je Audiominute.

Für die laufende Spracherkennung bietet Mistral Voxtral Realtime Transcribe 3 an. Der Anbieter nennt eine Verzögerung von unter 500 Millisekunden bei mehr als 35 Sprachen. Das Modell unterstützt ebenfalls Sprecherzuordnung und die Berücksichtigung vorgegebener Fachbegriffe. Akustische und inhaltliche Signale sollen helfen, das Ende eines Redebeitrags zu erkennen. Ziel sind schnelle Antworten, ohne Gesprächspartner vorzeitig zu unterbrechen.

Sprachausgabe mit steuerbarem Ausdruck

Voxtral Mini TTS 3, ein Modell zur Umwandlung von Text in Sprache, unterstützt nach Mistrals Angaben mehr als 35 Sprachen und mehr als 50 Dialekte. Es kann Texte gesammelt oder in Echtzeit verarbeiten. Emotion, Sprechtempo und Betonung lassen sich durch Vorgaben beeinflussen und sollen sich auch an den Gesprächskontext anpassen. Den Preis für die Sprachausgabe beziffert Mistral auf 13 US-Dollar je Million Zeichen.

Für die professionelle Anpassung an eine individuelle Stimme bietet Mistral die Funktion Pro Voice an. Sie soll mit 30 Minuten Audiomaterial den charakteristischen Klang, die emotionale Bandbreite und den Sprechstil einer Person über Sprachgrenzen hinweg nachbilden können.

Betrieb über EU-Schnittstelle oder auf eigener Infrastruktur

Voxtral 3 ist über Mistrals in der EU betriebene Programmierschnittstelle oder zur Bereitstellung auf eigener Infrastruktur verfügbar. Unternehmen können damit laut Anbieter steuern, wo Audiodaten verarbeitet und ob Gespräche gespeichert werden. Diese Wahlmöglichkeiten beschreibt Mistral als Bestandteil seines Ansatzes für einen souveränen Betrieb der Sprachmodelle.