Big Tech ist plötzlich von der „NPU“ besessen. Hier er erfahren Sie was damit versehen ist und warum es wichtig ist

Die „Neural Processing Unit“ wird als der nächste große Trend für „KI-PCs“ und „KI-Smartphones“ angepriesen, aber sie wird die Notwendigkeit einer Cloud-basierten KI nicht beseitigen.

Von Kyle Barr / Gizmodo7 Min. LesezeitAktualisiert 30. Mai 2024

Add QZ to Google

Es gibt eine CPU. Es gibt eine GPU. Allein im letzten Jahr hat jedes Technologieunternehmen über „NPUs“ gesprochen. Wenn Sie die ersten beiden nicht kannten, sind Sie wahrscheinlich verwirrt über die dritte und darüber, warum jedes große Technologieunternehmen die Vorteile einer „Neural Processing Unit“ preist. Wie Sie vielleicht schon vermutet haben, liegt das alles am anhaltenden Hype um KI. Und dennoch waren Technologieunternehmen ziemlich schlecht darin, zu erklären, was diese NPUs tun oder warum Sie sich dafür interessieren sollten.

Jeder will ein Stück vom KI-Kuchen. Google $GOOGL sagte „KI“ mehr als 120 Mal in diesem Monat I/O Entwicklerkonferenz, wo die Möglichkeiten neuer KI-Apps und -Assistenten die Gastgeber geradezu in Verzückung versetzten. Build Konferenz, Microsoft $MSFT hat alles mit seinen neuen ARM-basierten Copilot+ PCs auf der Basis mit Qualcomm $QCOM Snapdragon X $TWTR Elite und X Plus verfolgt. Beide CPUs bieten weiterhin eine NPU mit 45 TOPS. Was bedeutet das? Nun, die neuen PCs sollten in der Geräte KI unterstützen können. Wenn man darüber nachdenkt ist es jedoch genau das, was Microsoft und Intel $INTC Ende letzten Jahres mit dem sogenannten „KI-PC.”

Wenn Sie sich dieses Jahr einen neuen Laptop mit Intel Core Ultra-Chip gekauft haben, weil Ihnen On-Device-KI versprochen wurde, sind Sie wahrscheinlich nicht gerade glücklich darüber, abgehängt zu werden. Microsoft hat Gizmodo mitgeteilt, dass nur die Copilot+-PCs Zugriff auf KI-basierte Funktionen wie Recall „aufgrund der Chips, auf denen sie betrieben sind.“

Es gab jedoch einige Auseinandersetzungen, als ein bekannter Leaker Weißer Thun behaupteten, sie könnten Recall auf einem anderen ARM64-basierten PC ausführen, ohne auf die NPU zu vertrauen. Die neuen Laptops sind noch nicht erhältlich, aber wir müssen abwarten und sehen, wie viel Druck die neuen KI-Funktionen auf die neuronalen Prozessoren ausüben.

Aber wenn Sie wirklich neugierig sind, was es mit NPUs auf sich hat und warum alle, von Apple $AAPL über Intel bis hin zu kleinen PC-Startups, darüber reden, haben wir eine Erklärung zusammengestellt, um Sie auf den neuesten Stand zu bringen.

Erläuterung der NPU und von TOPS

Daher sollten wir den Leuten im Hintergrund zunächst einen kurzen Überblick über die Rechenleistung Ihres normalen PCs geben. Die CPU oder „Central Processing Unit“ ist im Wesentlichen das „Gehirn“ des Computers und verarbeitet die meisten Aufgaben des Benutzers. Die GPU oder „Graphics Processing Unit“ ist stärker auf die Verarbeitung von Aufgaben spezialisiert, die große Datenmengen erfordern, wie z. B. das Rendern eines 3D-Objekts oder das Spielen eines Videospiels. GPUs können entweder eine separate Einheit im PC sein oder in die CPU selbst integriert sein.

Auf diese Weise ist die NPU hinsichtlich ihrer Spezialisierung näher an der GPU, aber Sie werden, zumindest im Moment, keinen separaten neuronalen Prozessor außerhalb der zentralen bzw. Grafikverarbeitungseinheit finden. Es handelt sich dabei um einen Prozessortyp, der für die maschinenspezifischen mathematischen Berechnungen entwickelt wurde. Lernalgorithmen. Diese Aufgaben werden „parallel“ verarbeitet, d. h. die Anfragen werden in kleinere Aufgaben aufgeteilt und dann gleichzeitig verarbeitet. Das System ist speziell darauf ausgelegt, die hohen Anforderungen neuronaler Netzwerke zu bewältigen, ohne die Prozessoren anderer Systeme zu nutzen.

Der Standard zur Beurteilung der NPU-Geschwindigkeit liegt in TOPS oder „Billionen von Operationen pro Sekunde“. Derzeit ist dies die einzige Methode für große Technologieunternehmen zum Vergleich ihrer neuronalen Verarbeitungskapazität miteinander. Außerdem ist es eine unglaublich reduzierte Methode zum Vergleich von Verarbeitungsgeschwindigkeiten. CPUs und GPUs bieten viele verschiedene Vergleichspunkte, von der Anzahl und Art der Kerne bis zu allgemeinen Taktgeschwindigkeiten oder Teraflops, und selbst das ist nur ein kleiner Ausschnitt der mit der Komplikationen der Chiparchitektur verbundenen Kompliziertheiten. Qualcomm erklärt dass TOPS nur eine schnelle und einfache Mathematikgleichung ist, die die Geschwindigkeit und Genauigkeit der neuronalen Prozessoren kombiniert.

Vielleicht werden wir NPUs eines Tages mit derselben Granularität betrachten wie CPUs oder GPUs, aber das wird möglich auch erst geschehen, wenn wir den aktuellen KI-Hype-Zyklus überstanden haben. Und selbst dann ist keine dieser Abgrenzung von Prozessoren in Stein gestein gemeißelt. Es gibt auch die Idee von GPNPUs, die im Grunde eine Kombiplatte aus GPU- und NPU-Fähigkeiten sind. Schon bald werden wir die Fähigkeiten kleinerer KI-fähiger PCs durch größere aufteilen müssen, die Hunderte oder sogar Tausende TOPS verarbeiten können.

NPUs gibt es schon seit mehreren Jahren auf Telefonen und PCs

Auch in Telefonen wurden NPUs verwendet, lange bevor sich die meisten Menschen oder Unternehmen dafür interessierten. Google sprach bereits in den 1970er Jahren über NPUs und KI-Funktionen. Pixel 2. China-zentrierte Huawei und Asus führten NPUs auf Telefonen wie dem 2017 ein Mate 10 und das 2018 Zenphone 5. Beide Unternehmen versuchten damals die KI-Fähigkeiten auf beiden Geräten voranzubringen, obwohl Kunden und Tester ihren Fähigkeiten hinsichtlich wesentlich skeptischer waren als heute.

Tatsächlich sind die heutigen NPUs weitaus leistungsfähiger als noch vor sechs oder acht Jahren, doch wer nicht aufgepasst hätte, wäre sich der neuronalen Kapazität der meisten dieser Geräte nicht bewusst gewesen.

Computerchips verfügen bereits seit Jahren vor 2023 über neuronale Prozessoren. So unterstützten beispielsweise die CPUs der M-Serie von Apple, die proprietären ARC-basierten Chips des Unternehmens, bereits 2020 neuronale Funktionen. Der M1-Chip verfügte über 11 TOPS, der M2- und der M3-Chip jedoch über 15,8 bzw. 19 TOPS. Nur mit dem M4-Chip im neuen iPad Pro 2024 dass Apple entschieden hat, mit der 38 TOPS Geschwindigkeit seiner neuesten Neural Engine prahlen zu müssen. Und welche KI-Anwendungen auf dem iPad Pro nutzen diese neue Funktion wirklich? Ehrlich sein nicht viel. Vielleicht sehen wir in ein paar Wochen mehr auf der WWDC 2024, aber wir müssen abwarten.

Die aktuelle Obsession mit NPUs ist teils Hardware, teils Hype

Die Idee hinter der NPU besteht darin, dass sie die Last der Ausführung von geräteinterner KI von der CPU oder GPU nehmen kann, sodass Benutzer KI-Programme ausführen können, ohne dass ihre PCs langsamer werden – seien es KI-Kunstgeneratoren oder Chatbots. Das Problem ist, dass wir alle immer noch nach dem einen echten KI-Programm suchen, das die erweiterten KI-Funktionen nutzen kann.

Gizmodo hat im vergangenen Jahr Gespräche mit den großen Chipherstellern geführt und wir hören immer wieder, dass die Hardwarehersteller das Gefühl haben, ausnahmsweise einmal die Nachfrage nach Software überholt zu haben. Lange Zeit war das Gegenteil der Fall. Die Softwarehersteller erweiterten die Grenzen dessen, was auf Verbraucherhardware verfügbar ist, und zwangen die Chiphersteller, aufzuholen.

Aber seit 2023 haben wir nur noch wenige marginale KI-Anwendungen gesehen, die auf dem Gerät ausgeführt werden können. Die meisten Demos der KI-Funktionen der Chips von Qualcomm oder Intel beinhalten normalerweise die Ausführung der Zoom $ZM-Hintergrundunschärfefunktion. In letzter Zeit haben wir Unternehmen gesehen, die ihre NPUs mit dem KI-Musikgeneratormodell Riffusioni vergleichen. n vorhandene Anwendungen wie Audacity oder mit Live-Untertiteln auf OBS Studio. Sicher, Sie können einige Apps finden, die Chatbots ausführen, die auf dem Gerät ausgeführt werden können, aber ein weniger leistungsfähiges und weniger nuanciertes LLM fühlt sich nicht wie die riesige Killer-App an, die alle dazu bringt, los zu laufen und das neueste Smartphone oder den „KI-PC zu kaufen.“

Stattdessen sind wir mit Gemini Nano auf relativ einfache Anwendungen beschränkt. Pixel-Telefone, wie Text- und Audio-Zusammenfassungen. Googles kleinste Version seiner KI kommt auf das Pixel 8 und Pixel 8a. Samsungs KI-Funktionen, die einst exklusiv dem Galaxy S24 vorhanden waren, sind bereits haben ihren Weg auf ältere Telefone gefunden und sollte bald zu der Wearables des Unternehmens. Wir haben die Geschwindigkeit dieser KI-Funktionen auf älteren Geräten nicht gemessen, aber es weist darauf hin, dass ältere Geräte aus dem Jahr 2021 bereits über reichlich neuronale Verarbeitungskapazität verfügten.

Die On-Device-KI wird immer noch durch den Mangel an Rechenleistung für Endverbraucherprodukte behindert. Microsoft, OpenAi und Google müssen große Rechenzentren mit Hunderten von fortschrittlichen KI-Systemen betreiben. GPUs von Nvidia $NVDA, wie der H100 (Microsoft und andere sind Berichten zufolge arbeiten sie an ihren eigenen KI-Chips), um einige der fortgeschritteneren LLMs oder Chatbots mit Modellen wie zu verarbeiten Gemini Fortgeschritten oder GPT 4o. Das ist auch nicht billig in Bezug auf Geld oder Ressourcen wie Leistung und Wasser, aber das ist der Grund, dafür so viele fortgeschrittenere KI, für die Verbraucher bezahlen können, dass sie in der Cloud läuft. KI auf dem Gerät laufen zu haben ist für Benutzer und die Umwelt von Vorteilen. Wenn Unternehmen davon ausgehen, dass Verbraucher die neuesten und besten KI-Modelle verlangen, wird die Software weiterhin das übertreffen, was auf einem Endgerät für Verbraucher möglich ist.

Die wichtigsten Wirtschaftsnachrichten, jeden Morgen frisch geliefert.

Schließen Sie sich über 500.000 Lesern an, die ihren Tag mit Quartz beginnen.

Mit dem Abonnieren stimmen Sie unseren Nutzungsbedingungen und unserer Datenschutzrichtlinie zu.