Künstliche Intelligenz: Was braucht es für gute KI-Chips nach dem Vorbild von Nvidia?
Wer vom Überfliegerunternehmen aus dem Silicon Valley spricht, meint dieser Tage nicht unbedingt Apple: Der wahre Hype umspült derzeit den Grafikkartenspezialisten Nvidia. Als erster Chiphersteller überquerte das Unternehmen in der vergangenen Woche die Marke von einer Billion Dollar beim Börsenwert. Konzernchef Jensen Huang wird gar bereits als „neuer Steve Jobs“ gefeiert.
Der Grund für den Boom bei dem Hardwarehersteller: Nvidia profitiert mehr als jedes andere Unternehmen vom derzeitigen Megathema künstliche Intelligenz (KI). Denn generative KI wie der Sprachbot ChatGPT sind aufgrund der Größe der ihnen zugrundeliegenden Sprachmodelle wahre Ressourcenfresser. Sie verdanken ihre so beeindruckend und menschenähnlich wirkenden Spracheigenschaften vor allem der gigantischen Rechenpower, die die Computer im Hintergrund verrichten.
Und der Großteil jener Rechner läuft mithilfe der Computing-Power von Nvidia. Hauptgrund dafür ist, dass sich Grafikchips (Graphical Processing Units, GPUs) für die Berechnung von künstlichen neuronalen Netzen, auf denen praktisch alle Sprach-KIs basieren, besser eignen als herkömmliche Computerprozessoren (Central Processing Units, CPUs), wie sie etwa Intel oder AMD bauen. „GPUs sind so konzipiert, dass sie viel mehr Recheneinheiten parallel nutzen und die Daten in einer Art Fließbandabfertigung durch den Chip schleusen“, sagt Tobias Gemmeke, Professor für Halbleiterdesign und Leiter des Lehrstuhls für Integrierte Digitale Systeme und Schaltungsentwurf an der RWTH Aachen. „Dadurch eignen sie sich ideal für die Berechnung von neuronalen Netzen.“
Dies erreichen die Nvidia-Chips vor allem durch zwei Kniffe: eine große Zahl von parallelen Rechenkernen auf einem Chip sowie einer speziellen Chiparchitektur, im Fachjargon Pipelining genannt. So verfügt das Ende 2022 vorgestellte Nvidia-Topmodell auf den Grafikkarten RTX 4090 über stolze 16.384 einzelne Kerne, sogenannte Cores – das sind 56 Prozent mehr als bei dem zwei Jahre davor präsentierten Grafikkartenvorgänger RTX 3090. Zum Vergleich: Die in diesem Jahr gestarteten Intel-Flaggschiffe, die Computerprozessoren Core i9 der 13. Generation, haben gerade mal 24 parallele Kerne auf dem Chip.
Fließbandabfertigung von Daten
Weil bei der Berechnung von neuronalen Netzen viele ähnlich geartete Rechenoperationen hintereinander ausgeführt werden, lässt sich die Bearbeitung über das sogenannte Streaming weiter automatisieren und beschleunigen. Hierin hat Nvidia ebenfalls viel Geld und Hirnschmalz investiert, um die einzelnen Prozessorkerne zu orchestrieren. „Die 16.384 Kerne wollen ja beschäftigt sein“, sagt Chipexperte Gemmeke. „Man kann sich das wie ein Fließband in einer Fabrik vorstellen, bei dem die einzelnen Teile immer zu rechten Zeit am passenden Ort eintreffen.“ Hier betreffe die Fließbandabfertigung die Daten.
Neben leistungsfähigen Prozessoren sind für schnelle Berechnungen auch leistungsfähige Anbindungen an die Speicherbauteile wichtig, denn bei neuronalen Netzwerken wird mit sehr großen Datenmengen gearbeitet. „Das Hin- und Herschaufeln von Daten ist teuer und kostet Zeit“, erläutert Gemmeke. „Daher verwenden sehr effiziente Chips Daten wieder und halten Zwischenergebnisse lokal, um so den Speicherbus zu entlasten.“ Chiphersteller wie Nvidia integrieren daher auch Speicherbausteine auf ihren Grafikkarten, um die Rechenleistung zu beschleunigen.
Auf eine smarte Kombination von Rechenleistung für KI sowie In-Memory-Kapazitäten zur schnellen Datenspeicherung setzt auch das niederländische Chip-Start-up Axelera AI: Das Unternehmen aus Eindhoven hat Ende Mai eine Finanzierungsrunde in Höhe von 50 Millionen Dollar abgeschlossen und will damit die Serienfertigung seiner selbst entworfenen KI-Chips starten. „Die Axelera-Chips sollen die KI-Rechenleistung in die Edge bringen, also nah an jene Stelle, wo KI-Daten erfasst werden – mit einem Bruchteil des Stromverbrauchs und der Kosten heutiger KI-Hardware“, sagt Gemmeke.
Smarte Bündelung von Prozessor und Speicher
Auf die Spitze treibt das Konzept der Bündelung von Prozessor und Speicher der kalifornische Halbleiteranbieter Cerebras: Das Unternehmen fertigt Chips, die 215 mal 215 Millimeter groß sind und praktisch aus einem kompletten 300-Millimeter-Wafer bestehen, bei dem die Rundungen abgeschnitten wurden. „Diese Chips haben viel Speicher und Rechenleistung integriert und werden vor allem für das Training von neuronalen Netzen eingesetzt“, sagt Gemmeke.
Ebenfalls dezidiert für neuronale Netzwerke entwickelt sind die sogenannten Tensor Processing Units (TPUs) von Google: Die erstmals im Jahr 2016 vorgestellten Chips sollen die Anwendung eines bereits trainierten künstlichen neuronalen Netzwerks unterstützen und beschleunigen. „Das erreichen TPUs beispielsweise durch eine geringere Präzision im Vergleich zu normalen CPUs oder GPUs und einer Spezialisierung auf Matrizenoperationen“, sagt Gemmeke.
Lesen Sie auch: So abhängig ist die Wirtschaft von Taiwan als Chipfabrik der Welt
Noch einen Schritt weiter in Richtung künstliche Intelligenz gehen sogenannte Neuromorphic Processing Unit (NPUs). Diese verwenden komplett andere Befehle und Architekturen als Grafikchips: „Während GPUs in der Regel Matrizen verwenden, da sie auf Bildverarbeitung spezialisiert sind, bilden NPUs gewissermaßen synaptisches Rechnen ab, eine Kombination aus Speicher und Rechenoperationen“, sagt Christoph Kutter, Professor für Polytronische Systeme an der Universität der Bundeswehr München und Direktor des Fraunhofer-Instituts für Elektronische Mikrosysteme und Festkörper-Technologien (EMFT). „Dadurch schlagen NPUs herkömmliche Grafikchips um Längen.“
Eingesetzt werden NPUs heute als Ergänzung von Smartphone-Prozessoren. Die Chips von Apple, Huawei und ARM verfügen beispielsweise bereits über eine solche Neuromorphic Processing Unit für die Anwendung von künstlicher Intelligenz. „Die kommt vor allem bei Bild- und Spracherkennung zum Einsatz“, sagt Kutter. „Damit solche Berechnungen auch schnell auf dem Gerät erfolgen können, statt die Daten erst umständlich in die Cloud hochladen zu müssen.“
Und auch hier denkt die Forschung schon weiter: Statt wie heute Chips aus Transistoren zu bauen, sollen in Zukunft sogenannte Memristoren zum Einsatz kommen. „Memristoren vereinen Speicher und Logik“, sagt Halbleiter-Experte Kutter. Mittels Memristoren würden Chips noch leistungsfähiger. „Man ahmt damit gewissermaßen die Funktionsweise des menschlichen Gehirns nach“, so Kutter. Derzeit befindet sich die Entwicklung allerdings noch in der Erforschung, die unter anderem bei Fraunhofer vorangetrieben wird.
Lesen Sie auch: Regulierung von KI – „bei KI müssen wir auch die Horrorszenarien mitbedenken“