Apple $AAPL befindet sich in frühen Gesprächen mit PrismML, einem Startup, das große KI-Modelle komprimiert, um auf Smartphones zu laufen, sagte PrismML-CEO Babak Hassibi zu CNBC. Hassibi beschrieb die Gespräche als vorläufig und sagte, es sei unklar, wohin sie führen werden, aber dass "die Dinge gut vorankommen."
PrismML veröffentlichte sein Bonsai 27B-Modell am Dienstag, von dem das Unternehmen sagte, dass es ein Modell mit 27,8 Milliarden Parametern von etwa 54 GB auf bis zu 3,9 GB reduziert, indem jedes Modellgewicht als ein oder drei mögliche Werte anstelle einer Standard-16-Bit-Zahl gespeichert wird. Bei dieser Größe kann das Modell auf einem iPhone 15 oder neuer laufen, sagte das Unternehmen.
Hassibi sagte gegenüber CNBC, dass Apple und andere Unternehmen die Modelle des Startups auf Geschwindigkeit, Energieverbrauch und Leistung auf dem Gerät getestet haben. Apple äußerte sich nicht.
Laut PrismML benötigen die komprimierten Modelle ein Zehntel bis ein Fünfzehntel des Speichers von Standardversionen, liefern Antworten sechs- bis achtmal schneller und verbrauchen drei- bis sechsmal weniger Strom. Hassibi bemerkte, dass die Kompression mit Kosten verbunden ist: Die Modelle verlieren einige Prozentpunkte an Genauigkeit, und das Faktenwissen nimmt schneller ab als Fähigkeiten wie logisches Denken und Programmieren.
Die Bonsai 27B Serie ist in zwei Varianten erhältlich. Die 1-Bit-Version mit etwa 4 GB ist für maximale Komprimierung optimiert und soll auf High-End-Mobilgeräten wie dem iPhone 17 Pro laufen, wo das Unternehmen angibt, dass es 11 Tokens pro Sekunde erreicht. Die 1,58-Bit-ternäre Version bietet eine höhere Qualität, bleibt aber deutlich kleiner als ein Modell in voller Präzision und erreicht laut Unternehmen mehr als 95 % der Benchmark-Leistung in voller Präzision. Beide Modelle stehen unter einer kostenlosen Apache 2.0-Lizenz zur Verfügung. PrismML sagte, dass das Open-Source-Gemma-Modell von Google $GOOGL als nächstes in der Pipeline sei.
PrismML entstand aus Forschung am California Institute of Technology, das die entsprechenden Patente hält und PrismML eine exklusive Lizenz zur Kommerzialisierung erteilt hat. Das Startup sammelte im März eine Seed-Finanzierungsrunde von 16,25 Millionen Dollar, unterstützt von Khosla Ventures.
Apple arbeitet daran, die Menge der KI-Verarbeitung zu erweitern, die direkt auf seinen Geräten statt in der Cloud erfolgt. Apple stellte auf seiner Worldwide Developers Conference im Juni eine überarbeitete Version von Siri vor, angetrieben von Google Gemini, wobei iOS 27 am Montag in die öffentliche Beta geht. Apple leitet derzeit anspruchsvollere Anfragen an seine privaten Cloud-Server oder Drittanbietermodelle weiter und reserviert einen Teil der Aufgaben für die Verarbeitung auf dem Gerät. Mehr KI-Arbeit direkt auf das iPhone zu verlagern, würde die Antwortzeiten verkürzen, die Ausgaben für Cloud-Infrastruktur reduzieren und die langjährige Datenschutzstrategie von Apple stärken.