Das explosive Wachstum der KI ist kein Zauber; es ist Mathematik. Und viel davon. Die neuesten Durchbrüche im Deep Learning, von großen Sprachmodellen bis hin zu generativen Bildwerkzeugen, benötigen enorme Mengen an Rechenleistung.
Technologieriesen wie Microsoft und Meta geben viel Geld für Supercluster aus, in der Hoffnung auf Durchbrüche in der KI.
Photo by Steve Johnson on Unsplash
Das explosive Wachstum der KI ist kein Zauber; es ist Mathematik. Und viel davon. Die neuesten Durchbrüche im Deep Learning, von großen Sprachmodellen bis hin zu generativen Bildwerkzeugen, benötigen enorme Mengen an Rechenleistung.
Das Training eines modernen KI-Modells ist wie das Beibringen eines Tanzes an einen Elefanten: Man braucht rohe Muskelkraft, perfektes Timing und endlose Wiederholung. Hier kommen KI-Supercluster ins Spiel.
Auf den ersten Blick, ein Supercluster ist wie ein riesiges Gehirn, das aus vielen kleineren Gehirnen besteht. Es sind Tausende, oder sogar Hunderttausende von GPUs oder KI-Beschleunigern, die mit ultraschnellen Netzwerken verbunden sind, speziell gebaut, um massive Berechnungen durchzuführen. Im Gegensatz zu deinem Garagen-Gaming-Rig oder sogar deinem typischen Cloud-Server sind diese Maschinen von Grund auf für einen Zweck gebaut: KI.
KI hat eine völlig neue Klasse eingeführt, wenn es um Datenspeicherung und -verarbeitung geht. Während traditionelle Rechenzentren darauf ausgelegt sind, eine Vielzahl digitaler Workloads zu bewältigen (denken Sie an E-Mail-Server, Website-Hosting und Cloud-Speicher), sind KI-Supercluster für einen einzigen Zweck gebaut: die Verarbeitung von riesigen Datenmengen mit Lichtgeschwindigkeit.
Um zu verstehen, warum sie wichtig sind, hilft es zuerst zu sehen, wie sie sich von den Rechenzentrumsplänen der Vergangenheit unterscheiden.
AI-Durchbrüche erfordern sowohl Umfang als auch Schnelligkeit. Große Modelle benötigen riesige Datensätze, und größere Daten bedeuten längere Trainingszeiten, es sei denn, man setzt erhebliche Rechenleistung ein. Supercluster ermöglichen:
Photo by Levart_Photographer on Unsplash
KI-Supercluster sind weder billig noch klein. Der Bau eines solchen erfordert oft maßgeschneiderte Hardware, spezielle Netzwerkinfrastrukturen, Immobilien von der Größe eines Flughafens und genug Energie, um eine kleine Nation zu versorgen. Natürlich sind nur einige wenige Unternehmen in der Lage, diese Art von Investition zu tätigen.
Diese Technologieriesen nehmen nicht nur am KI-Spiel teil – sie gestalten die physischen Grundlagen neu. Jeder investiert stark in dedizierte Supercluster, die es ermöglichen, hochmoderne Modelle auf zuvor unüberschaubaren Datensätzen zu trainieren. Während einige Cluster die interne Forschung unterstützen, untermauern andere die KI-Dienste, die nun Millionen von Nutzern erreichen.
Hier ist eine Aufschlüsselung, wer was baut und warum:
Meta $META – Projekt Prometheus / Hyperion: Metas Supercluster Vorstoß ist enorm. Es kreiert Prometheus, ein 1 GW AI-Rechenzentrum, und plant Hyperion, eine 5 GW-Anlage, die die Größe von Manhattan erreicht. Es ist ein wichtiger Bestandteil von Metas KI-Strategie.
Microsoft $MSFT / OpenAI – Azure ND H200 v5 Cluster: Microsofts Azure ND H200 v5 VMs packen jeweils acht NVIDIA H200 GPUs und können auf Cluster mit Tausenden von GPUs skalieren. Diese Systeme betreiben das Modelltraining von OpenAI sowie Azure AI Workloads.
Google $GOOGL – TPU v4 / Ironwood Pods: Googles TPU v4 Pods verwenden 4.096 spezialisierte Chips und kundenspezifische optische Netzwerke. Sie erreichen Exaflop-Geschwindigkeiten (ein Exaflop entspricht einer Trillion Rechnungen pro Sekunde) und betreiben ihr Large-Model-Training. Seine neueste "Ironwood" TPU v7 Plattform erhöht die Skalierung und liefert Dutzende von Exaflops für generative Inferenzsysteme.
Amazon $AMZN Web Services – EC2 UltraClusters & Projekt Rainier: AWSs UltraClusters sind massive GPU-Pools, die P4d (A100 GPUs) und Trn2/Trainium2-Chips mit ultraschnellen Netzwerken umfassen. Projekt Rainier, entwickelt mit Anthropic, verwendet Hunderttausende von Trainium2-Chips und liefert mehr als das Fünffache der Exaflops, die für aktuelle führende AI-Modelle verwendet werden.
Nvidia $NVDA – Partnergeführte Supercomputing-Bemühungen: Nvidia orchestriert weltweit KI-Supercluster, sponsert Multi-Tausend-GPU-Aufbauten wie die von Foxconn und arbeitet mit Oracle $ORCL, HPE und anderen zusammen, um spezialisierte Cluster bereitzustellen.
Schließen Sie sich über 500.000 Lesern an, die ihren Tag mit Quartz beginnen.
Mit dem Abonnieren stimmen Sie unseren Nutzungsbedingungen und unserer Datenschutzrichtlinie zu.