Perplexity beschleunigt lokale KI auf Apple-Chips

Perplexity hat mit Lily eine lokale Ausführungsumgebung für Apple-Chips vorgestellt. Sie verarbeitet private Dateien und Anwendungen auf dem Mac, während Cloud-Modelle Recherche und Schlussfolgern übernehmen.

Lily ist auf Apple-Chips und das Sprachmodell Qwen3.6-35B-A3B zugeschnitten. Eine Rust-Laufzeitumgebung verwaltet Modell, Sitzungszustand und Texterzeugung. Eigene Metal-Rechenkerne führen Qwen-spezifische Operationen aus. PyTorch und MLX gehören nicht zum Ausführungspfad. Eine mit OpenAI kompatible Schnittstelle nimmt Anfragen an und überträgt erzeugte Textbausteine fortlaufend.

Mehr Durchsatz als MLX-LM

Perplexity prüfte Lily auf einem MacBook Pro mit M5 Max, 40 Grafikkernen und 128 GByte gemeinsamem Speicher. Der Vergleich umfasste jeweils zehn Eingabe- und Kontextlängen zwischen 256 und 128K Textbausteinen. Lily erreichte durchschnittlich den 1,23-fachen Eingabedurchsatz und den 1,35-fachen Ausgabedurchsatz von MLX-LM.

Bei 4K Textbausteinen verarbeitete Lily 5749,9 Eingabe- und erzeugte 186,6 Ausgabe-Textbausteine pro Sekunde. MLX-LM erreichte 4737,5 beziehungsweise 140,9. Über alle Längen lagen die Mittelwerte bei 4156 und 170,0. Das Vergleichssystem kam auf 3388 und 126,4 Textbausteine pro Sekunde.

Spezialisierung auf Qwen

Qwen3.6-35B-A3B verteilt Textbausteine auf unterschiedliche Expertengewichte und kombiniert wiederkehrende Zustände mit vollständiger Aufmerksamkeit. Diese Architektur senkt laut Perplexity den Rechenaufwand, erzeugt aber unregelmäßige Lasten. Lily koordiniert deshalb Rechenkerne, Datenbewegungen und Ablaufplanung für die feste Modellstruktur. Eine eigenständige Vorführung steht auf GitHub bereit.

Cloud und Mac teilen Aufgaben

Hybrid Compute on Apple silicon verteilt Aufgaben zwischen Cloud und Mac. Cloud-Modelle übernehmen Recherche sowie Schlussfolgern. Das lokale Modell greift auf private Dateien und Anwendungen zu. Für lokale Sprachmodelle bietet Apple außerdem das quelloffene Rahmenwerk MLX an.