Microsoft zeigt Pipeline gegen Halluzinationen bei Bildanalyse für 50.000 Assets

Microsoft beschreibt eine neue Pipeline zur Bildanreicherung, die Halluzinationen multimodaler Modelle begrenzen soll. Der Ansatz zielt auf durchsuchbare Kataloge mit strukturierten Metadaten und adressiert damit ein Problem, das bei produktiven KI-Suchen schnell Vertrauen kostet.

Im ISE Developer Blog von Microsoft schildern Deeptanil und Kartheek den Aufbau am 17. Juli 2026 an einem Katalog mit 50.000 visuellen Assets. Das Ziel ist eine Suche nach Motiven wie „night scenes with a warrior holding a weapon“, die ohne Metadaten nicht möglich sei. Microsoft begründet den Ansatz mit einem praktischen Problem multimodaler LLMs: Sie beschrieben Bilder gut, erfänden aber auch Figuren oder Objekte. „For a search catalog, a hallucinated tag is worse than a missing one“, heißt es im Beitrag.

Struktur statt Freitext

Die Pipeline erzeugt laut Microsoft strukturiertes JSON mit Feldern für Tags, Umgebung, Figuren und Requisiten. Genannt werden etwa „environment.type“, „time_of_day“ oder „props.category“. Jeder Wert stammt aus einer begrenzten Auswahl und nicht aus Freitext. Microsoft stellt den Unterschied zu Embeddings klar heraus: Embeddings eigneten sich für Ähnlichkeitssuche, lieferten aber keine prüfbaren Attribute für Filter und Indizes. „Enrichment and embeddings are complementary“, schreibt der Anbieter.

Als Beispiel nennt Microsoft eine Szene mit Attributen wie „palace“, „night“, „torch-lit“, „warrior“ und „indoor“. Dazu kommen Figurenmerkmale wie Rolle, Geschlecht, Spezies, Position und Aktion sowie Requisiten wie ein „ceremonial sword“ in der Kategorie „weapon“. Das Modell soll damit nicht nur Ähnlichkeit erkennen, sondern konkrete Behauptungen über sichtbare Inhalte abgeben.

Kontrolle gegen erfundene Inhalte

Der Blogbeitrag setzt den Schwerpunkt auf Verlässlichkeit im Produktiveinsatz. Die Kernfrage sei nicht, ob ein LLM Metadaten aus Bildern extrahieren könne, sondern ob sich die Ausgabe „reliable enough to trust at scale“ machen lasse. Microsoft beschreibt die Felder deshalb als „testable claim“, die sich validieren und indexieren lassen. Veröffentlicht wurde der Beitrag am 17. Juli 2026 im Entwicklerblog devblogs.microsoft.com.