Wer im Onlineshop von Zalando Kleidung kaufen möchte, kann sich nicht nur von einem Chatbot beraten lassen. Um sicherzugehen, dass Jacken, Mäntel und Kleider passen, können sich die Kundinnen auch in eng anliegender Kleidung fotografieren, zwei Bilder vom Smartphone aus hochladen – und kurz darauf erscheinen die persönlichen Körpermaße auf dem Bildschirm. Einmal nach unten scrollen, und das Kleidungsstück ist in der passenden Größe ausgewählt. Bislang ist dieser Dienst nur für Damenmode verfügbar. Für alle Kunden dagegen gilt beim Shopping auf der Zalando-Plattform: Sobald ein Artikel im Warenkorb liegt, schätzt der Onlineshop die Bonität des Kunden – und bietet bei der Auswahl der Zahlungsarten bestimmte Optionen gar nicht erst an.
Chatbot, Größenempfehlungen, Kreditwürdigkeitsprüfung: In all diesen Diensten steckt künstliche Intelligenz (KI). Und so stellen sich Management und Mitarbeiter bei Zalando und vielen anderen Unternehmen derzeit die Frage, wie sie diese Technik anpassen müssen – nun, da die Europäische Union das erste umfassende Regelwerk zum Einsatz von KI auf den Weg gebracht hat. Mit dem AI Act will Brüssel gewährleisten, dass nur sichere und vertrauenswürdige KI-Systeme verwendet werden, die den Grundrechten und den Werten der Union entsprechen. Im Dezember hatten sich EU-Kommission, Europaparlament und Mitgliedstaaten auf das Gesetz geeinigt, gerade erst hat das EU-Parlament grünes Licht gegeben. Nun muss nur noch der EU-Ministerrat abschließend beraten, dann könnte der AI Act noch in diesem Jahr in Kraft treten.
Erst mal richtig einstufen
Die Verordnung sieht fünf Kategorien für Anwendungen von künstlicher Intelligenz vor: Einige Dienste sind künftig komplett verboten, weil die EU sie zum Beispiel als Bedrohung für die Sicherheit oder die Rechte von Menschen ansieht. Dazu zählen unter anderem soziale Bewertungssysteme und Software zur Emotionserkennung am Arbeitsplatz. Andere Anwendungen unterliegen keinerlei Pflichten, wie etwa Videospiele oder Spamfilter. Daneben gibt es Hochrisikosysteme, die reguliert werden sollen, und Anwendungen mit begrenztem Risiko. Sprachmodelle wie ChatGPT und Übersetzungsprogramme wie DeepL zählen im AI Act zur fünften Gruppe, der breit einsetzbaren General Purpose AI: Für deren Anbieter gelten etwa bestimmte Informations- und Dokumentationspflichten, beispielsweise müssen sie eine Zusammenfassung der Daten veröffentlichen, mit denen sie ihr Modell trainiert haben.
Unternehmen müssen in einem ersten Schritt herausfinden, in welche Risikoklasse ihre Anwendungen fallen. Beim Onlinehändler Zalando gehen die Verantwortlichen von einem erheblichen Aufwand aus, um die Vorgaben des AI Acts umzusetzen. Chatbots gehören zwar zu den Anwendungen mit geringem Risiko, aber selbst für diese gelten künftig Transparenz- und Dokumentationspflichten: Wer sich bei der Kleiderauswahl im Onlineshop beraten lässt, muss zum Beispiel wissen, dass er gerade mit einer KI chattet. Die Bonitätsprüfung dürfte in die Kategorie der Hochrisikosysteme fallen. Schließlich beurteilt hier eine KI die Kreditwürdigkeit von Kunden.
Verständigung ist alles
„Die Kategorisierung ist mit das Schwierigste am AI Act“, sagt Stephan Schmidt, Fachanwalt für Informationstechnologierecht bei TCI Rechtsanwälte. „In welche Risikoklasse ein Unternehmen fällt, muss es selbst ermitteln und bestimmen. Das ist gerade bei eingekaufter Technologie nicht immer so einfach.“ Um eine korrekte und nachvollziehbare Einordnung vorzunehmen, müssen hauseigene Entwickler, ITler und Softwareingenieure sowie Rechtsabteilung und oft auch hinzugezogene externe Anwälte kooperieren. Für die meisten Unternehmen ist es ratsam, externe Rechtsexperten einzubeziehen. Spezialisten haben besondere Expertise in IT-Fragen, während Unternehmensjuristen meist Alleskönner sind. Alle Experten müssen zusammenarbeiten und sich verstehen – was in der Praxis nicht so trivial ist, wie es klingt. „Entweder braucht es einen Anwalt, der sich super mit IT und noch besser mit KI auskennt, oder einen technisch versierten Kollegen, der dem Anwalt alles eindeutig und für technische Laien verständlich erklären kann“, sagt Schmidt. Missverständnisse und untergegangene Informationen können teure Konsequenzen haben.
Zudem gelte es, darauf zu achten, was die genutzte KI alles kann – und nicht nur auf die Anwendungen zu schauen, die das Unternehmen gerade nutzt. Wer zum Beispiel mit der Technik nur das Bestellvolumen der Kunden auswerten will, damit aber durchaus auch persönliche Vorlieben erheben könnte, fällt womöglich in eine höhere Risikoklasse, ohne dass es ihm bewusst ist. „Wer bei der Einordnung Fehler macht, riskiert hohe Bußgelder“, warnt Schmidt. Verstöße gegen den AI Act sollen entweder bis zu 35 Millionen Euro oder bis zu sieben Prozent des weltweiten Gewinns betragen, den das Unternehmen im Jahr erwirtschaftet. Noch ist allerdings unklar, wer die Selbsteinschätzung kontrolliert – und bei einem Verdacht auf falsche Angaben eine Prüfung einleitet. Die EU? Behörden in den Mitgliedstaaten? Das wird erst feststehen, wenn der finale Text des AI Acts veröffentlicht wird.
Vor allem für Unternehmen, die nun Dienste mithilfe von Daten aus ihrem Alltagsgeschäft entwickeln, ist es elementar, diese Trainingsdaten zu überprüfen. Die zentrale Frage dabei lautet: Mit welchen Daten darf das Unternehmen die Algorithmen füttern – ohne dabei den Datenschutz zu verletzen? Falls personenbezogene Daten wie Namen, Adressen und Texte aus E-Mails oder urheberrechtlich geschützte Informationen in die Entwicklung der KI einfließen, sollten sich die Unternehmen eine Einwilligung für die Verarbeitung holen.
Zur Methode
Das Handelsblatt Research Institute (HRI) verschickte für die WirtschaftsWoche fast 26.000 Befragungen an Wirtschaftsanwälte. Die größte Gruppe stellen Anwälte für Gesellschafts- und Arbeitsrecht mit je mehr als 5600 Teilnehmern, die kleinste Medizinrecht mit 511 Juristen aus 333 Kanzleien. Insgesamt wurden 31 Fachgebiete ausgewertet. In die Riege der Legal All Stars schafften es insgesamt 92 Anwälte aus 63 Kanzleien. Zunächst wurden die Anwälte der anerkannten Kanzleien nach den renommiertesten Konkurrenten in ihrem Gebiet befragt. Anschließend stimmte eine Jury aus Unternehmensjuristen, Professoren, Prozessfinanzierern und Beratern über die Liste ab, gewichtete Kanzleien sowie Anwälte und ergänzte.
Neben den Daten, mit denen die KI trainiert wurde, sind weitere Datentöpfe zu überprüfen: Bei Zalando wären das etwa Eingaben, die Kunden beim Chatbot machen, oder sonstige Dokumente, auf die der Bot zugreifen kann. Die Fotos in eng anliegender Kleidung, die sie im Onlineshop hochladen können, werden zum Beispiel nur so lange auf dem Smartphone zwischengespeichert, bis die Körpermaße ermittelt sind. Das dauert einige Sekunden, danach werden die Bilder wieder gelöscht.
Blick in die Trainingsdaten
Vor allem bei den Trainingsdaten ist die Rechtsgrundlage häufig unklar – gerade bei KI, die eingekauft wird. „Unternehmen sollten dann auf einen Hersteller setzen, der genau angibt, woher die Trainingsdaten stammen, und der die Rechtmäßigkeit des Trainings nachweisen kann“, empfiehlt Isabell Conrad, Gründungspartnerin der Kanzlei CSW in München, die derzeit Mandanten aus den unterschiedlichsten Branchen zur Vorbereitung auf den AI Act berät.
Larissa Leitner und Annika von Mutius haben vor zwei Jahren den Recruiting-Dienstleister Empion gegründet – und dazu eine KI entwickelt, die Unternehmen und Jobsuchende zusammenbringen soll. Sein Geld verdient das Start-up vor allem mit Unternehmen, die Stellenanzeigen bei Empion einstellen oder ein Headhunting in Auftrag geben. „Wenn wir zum Beispiel Vertriebspositionen in Berlin besetzen, stellen wir eine enge Korrelation mit Fußballfans fest“, erzählt von Mutius. Dass es zwischen dem Job des versierten Verkäufers und dem Fußballclub einen Zusammenhang gibt, liegt nicht unbedingt auf der Hand. Das hat die unternehmenseigene KI herausgefunden.
Die Trainingsdaten dafür haben die beiden Gründerinnen selbst gesammelt: Während ihrer Promotion haben sie dazu viele Umfragedaten erhoben, die nun das Grundgerüst ihrer KI bilden. Weitere Daten erhält das Unternehmen aus rund 100 Befragungen pro Tag: Über Empion können nämlich nicht nur Unternehmen nach Kandidaten suchen. Arbeitnehmer können sich auch selbst bei Empion registrieren und passende Jobs angezeigt bekommen. Mit jedem führen die Empion-Headhunter ein kurzes persönliches Gespräch und generieren so laufend neue Daten, die sie dann – anonymisiert – zum Training der KI nutzen.
Inwieweit Kunde und Entwickler – allein oder gemeinsam – für einen auf KI basierenden Dienst datenschutzrechtlich verantwortlich sind, hängt vom Einzelfall ab. Diese Unsicherheit spürt auch von Mutius in Gesprächen mit potenziellen Unternehmenskunden, seit sich die Mitgliedstaaten auf den AI Act geeinigt haben. „Ich habe schon mehr als 20 Gespräche mit potenziellen Kunden geführt, die nachgehakt haben, was der AI Act nun für uns bedeutet“, erzählt die Empion-Co-Gründerin. Abgesprungen sei bisher niemand. Aber die Gespräche verursachen Arbeit, fressen Zeit, Nerven und Geld. „Allein die Überarbeitung unserer Richtlinien hat uns viel Mühe und einige Anwaltsstunden gekostet“, sagt von Mutius.
Unternehmen sollten die neuen Vorschriften deshalb zum Anlass nehmen, sich einen umfassenden Überblick darüber zu verschaffen, in welchen ihrer Dienste überall künstliche Intelligenz steckt. In großen Unternehmen existieren in der IT meist sogenannte Software-Asset-Management-Systeme, die die Lizenzen aller Rechner und die installierte Software auflisten. Gibt es die nicht, sollte eine solche Liste erstellt werden, um keine Risiken zu übersehen.
Je nachdem zu welcher Risikogruppe das Unternehmen als Ganzes oder auch nur eine einzelne KI-Anwendung gehört, muss es strengere Anforderungen in den Berichten an die EU erfüllen. Empion zählt als Recruiting-Dienstleister zur Hochrisikogruppe und wird entsprechend umfassend an die EU berichten. Das Unternehmen muss laufend die potenziellen Risiken analysieren, die bei der Anwendung des KI-Systems für die Sicherheit oder den Schutz bestimmter Grundrechte entstehen können. Und es muss diverse Dokumentations- und IT-Sicherheitspflichten beachten, beispielsweise sicherstellen, dass ein Mensch die maschinelle Intelligenz kontrollieren kann. In jedem Fall gilt es, Unternehmen und Jobsuchende über den Einsatz der KI zu informieren. „Wir haben unseren gesamten Engineeringprozess und alle Veränderungen genau dokumentiert“, sagt Co-Geschäftsführerin von Mutius. „Transparente Dokumentation sollte für jedes verantwortungsbewusste Technologieunternehmen eine Selbstverständlichkeit sein.“
Viele Klagen von Unternehmen über die mit dem AI Act verbundene Bürokratie lassen vermuten, dass es längst nicht jede Firma so handhabt. Und dass in vielen eher traditionellen Unternehmen die Verunsicherung ob der neuen Technologie dominiert. Einfach abzuwarten ist allerdings keine Option. „Wer in den Bereich von Hochrisiko-KI oder General Purpose AI fällt, hat einen vergleichsweise kurzen Zeitraum, in dem er seine Systeme prüfen lassen muss“, betont Anwältin Conrad. Die Gesetzesvorgaben für General Purpose AI greifen schon 12 Monate nach Inkrafttreten der Verordnung; die für Hochrisikosysteme, wie beispielsweise Bewerbersoftware oder Kreditrating, nach 24 Monaten. 36 Monate Zeit für die Umsetzung der neuen Pflichten haben Anbieter regulierter Produkte, zum Beispiel aus der Medizin.
Lesen Sie auch: „Wer es bis zum Job in einer Großkanzlei bringt, ist härter als andere“
