WirtschaftsWoche: Herr Schütze, sind für Sie als Computerlinguist die Antworten des KI-Chatbots ChatGPT eigentlich ähnlich faszinierend wie für Laien?
Hinrich Schütze: Nicht wirklich. Denn die dem Sprachbot ChatGPT zugrundeliegende Idee ist überraschend einfach – man kann geradezu sagen primitiv: Die Sprachmodelle werden darauf optimiert, immer das nächste Wort vorherzusagen. Diese Idee gibt es seit rund 50 Jahren. Sie funktionieren nur deshalb erst heute richtig gut, weil man sie auf sehr großen Textmengen trainiert und dafür enorme Computerressourcen eingesetzt werden.
Das klingt wirklich fast trivial…
Das stimmt. Tatsächlich ist es aber in der Praxis alles andere als trivial. Wenn man diese Aufgabe perfekt löst, hätte man alle Probleme der KI insgesamt gelöst. Denn das Ergebnis des Sprachbots hängt vom Kontext ab. Er muss die richtigen Schlussfolgerungen ziehen. Im Prinzip sind hier alle Teilbereiche der KI notwendig, um diese Aufgabe gut zu lösen. Das erklärt auch die Faszination für ChatGPT, weil man als Beobachter den Eindruck hat, dass das Modell intelligent ist.
Das deutsche KI-Start-up Aleph-Alpha hat jetzt eine Studie veröffentlicht, wonach das eigene Sprachmodell Luminous doppelt so effizient wie GPT-3, das Modell hinter ChatGPT, sein soll. Worin unterscheidet es sich denn?
Ehrlich gesagt gibt es da keine großen Unterschiede. Aleph-Alpha sagt selber, dass Luminous in vielen Bereichen eine starke Alternative zu ChatGPT sei. Damit leistet es einen wichtigen Schritt zur technologischen Souveränität Europas. Das Unternehmen sagt aber nicht, dass es sich um eine bessere oder eine völlig neue Technologie handelt. Die Zahl der Parameter kann man relativ beliebig wählen. Aleph-Alpha hat bei Luminous einen Wert gewählt, der unter dem von ChatGPT liegt. Aber dass es deswegen sehr viel effizienter sei, würde ich nicht als einen riesig großen Fortschritt ansehen.
Zur Person
Hinrich Schütze ist Professor für Computerlinguistik und Co-Direktor des Zentrums für Informations- und Sprachverarbeitung an der Ludwig-Maximilians-Universität München. Seit dem Start seiner Doktorarbeit Anfang der Neunziger Jahre befasst sich Schütze mit der Schnittstelle zwischen Linguistik, Kognitionswissenschaft, neuronalen Netzen und Informatik.
Immerhin arbeitet Luminous nur mit 70 Milliarden Parametern im Vergleich zu 175 Milliarden bei GPT-3.
Das ist letztlich nicht viel weniger. Der Unterschied um den Faktor zwei bringt auch bei Rechenleistung und Energieersparnis wenig ein, das schlägt nicht eins zu eins durch. Bei Sprach-KI spielen Unterschiede erst dann eine signifikante Rolle, wenn ein Modell zehn Mal effizienter wäre – aber das ist hier nicht der Fall.
Gibt es denn noch anderen Modelle für Sprach-KI, die GPT-3 und Luminous übertreffen könnten?
Im wesentlichen sind die Modelle alle gleich. Wir kennen keine Details, denn die werden nicht mehr veröffentlicht. Am Anfang der Entwicklung ungefähr vor drei Jahren gab es immer noch ein wissenschaftliches Papier dazu; in einigen Fällen wurde sogar der Quellcode der Algorithmen offen gelegt. Das ist heute bei kommerziellen Unternehmen nicht mehr der Fall. Ich gehe fest davon aus, dass das hinter ChatGPT stehende Unternehmen OpenAI, Google und die Facebook-Mutter Meta im wesentlichen dieselbe Technologie einsetzen.
Ist der Erfolg von Aleph-Alpha mit Luminous in Ihren Augen ein Indiz dafür, dass Europa bei KI gegenüber den USA und China eine Chance hat?
Ja, Aleph-Alpha zeigt mit Luminous, dass wir nicht abgehängt sind. KI ist ein zentraler Baustein der Wirtschaft, den praktisch alle Unternehmen benötigen. Wenn wir hier abhängig sind von den USA und diese Technologie nicht selbst beherrschen, dann wäre das fatal.
Was fehlt denn noch für einen dauerhaften Erfolg von Aleph-Alpha oder anderen europäischen Anbietern?
Es handelt sich um eine grundlegende Technologie. Das jetzt in konkrete Anwendungen umzusetzen, erfordert noch einmal sehr viel Arbeit. Da sind uns China und die USA voraus. Wir haben in Deutschland und Europa leider nicht die Start-up-Kultur und das Risikokapital wie in den Vereinigten Staaten. Dadurch ist alles etwas langsamer – und KI-Höchstleistungen wie die von Aleph-Alpha sind seltener bei uns als in den USA. Das macht es uns so schwer mitzuhalten. Denn jetzt kommt es auf Geschwindigkeit bei der Umsetzung an.
Lesen Sie auch: Die Gründe für den Hype um ChatGPT
