KI: Vorreiterrolle oder Innovationsbremse? Der EU AI Act

Autor: Peter Kuhn, Senior Ecosystem Manager – MedTech & AI, IT- and Projectmanagement Expert @ 5-HT Chemistry & Health

Einleitung

Künstliche Intelligenz (KI) hat das Potenzial, viele Aspekte unseres Lebens zu verändern, von der Art und Weise, wie wir arbeiten, bis hin zur Diagnose und Behandlung von Krankheiten. Angesichts des enormen Potenzials dieser Technologie hat die Europäische Union (EU) am 14. März 2024 mit dem AI Act den weltweit ersten umfassenden Rechtsrahmen zur Anwendung künstlicher Intelligenz geschaffen. Dieses Gesetz, welches am 21.05.2024 vom EU-Rat verabschiedet wurde, stellt zahlreiche Anforderungen an Hersteller, doch bleibt die Frage: Ist der AI Act ein globales Vorbild oder eine Innovationsbremse?

EU AI Act_SEO Image_de .jpg

Die globale Situation

Mehrere Studien zeigen, dass die USA nach wie vor als Vorreiter in Sachen Künstliche Intelligenz gelten. Der jährlich veröffentlichte AI Index Report der Stanford University bestätigt diesen Eindruck: 61 der im Jahr 2023 als bemerkenswert („notable“) eingestuften Machine-Learning-Modelle wurden in den USA entwickelt, gefolgt von der EU mit 21 und China mit 15 Modellen.[1]

Abb. 1: Anzahl Notable Machine Learning Modelle nach geografischen Gebieten

Mit Blick auf das ebenfalls im Report enthaltene Thema Regulatorik wird deutlich, dass auch die USA als Vorreiter im Bereich KI hier nicht ohne eine Regulatorik agieren. Diese wurde zuletzt mit der „Executive Order on Safe, Secure, and Trustworthy AI“ erweitert.

Abb. 2: KI-bezogene EU Regulatorik

Abb. 3: KI-bezogene US Regulatorik

Entgegen der reinen Statistik aus dem AI Index Report wird der EU AI Act jedoch als die deutlich restriktivere Regulatorik gewertet.

Beide haben das Ziel einen verantwortungsbewussten und vertrauenswürdige Umgang mit KI zu gewährleisten und dabei Sicherheit und Menschenrechte nicht zu vernachlässigen. Während die Executive Order jedoch Grundsätze und Ziele für die Entwicklung und Nutzung von AI vorgibt, enthält der AI Act strikte Anforderungen und Regeln für Anbieter und Nutzer. Des Weiteren verlangt die Executive Order keine Konformitätserklärung und Zertifizierung, wie es im AI Act für Hochrisiko-Systeme der Fall ist.[2][3]

Der EU AI Act

Der AI Act stuft KI-Anwendungen in vier Risikoklassen ein: unannehmbares, hohes, begrenztes und geringes/minimales Risiko. Ein KI-System, das eine klare Bedrohung für Sicherheit, Lebensgrundlage oder Menschenrechte darstellt, gilt als unannehmbares Risiko und fällt unter die verbotenen Praktiken der Künstlichen Intelligenz gemäß Artikel 5 des AI Act.

Beispielsweise sieht die EU ein begrenztes Risiko in KI-Systemen, die mit Personen interagieren, wie Chatbots. Hier gelten Transparenzpflichten, die sicherstellen, dass solche Systeme als KI erkennbar sind.

Systeme, die weder unannehmbare, hohe noch begrenzte Risiken aufweisen, fallen in die Kategorie geringes Risiko und unterliegen keinen weiteren Anforderungen. Ein Beispiel hierfür ist ein Spamfilter.

Abb. 4: Risikoklassen des EU AI Act

Anforderungen an Hochrisiko-Systeme

KI-Produkte mit hohem Risiko müssen spezielle Anforderungen in den Bereichen Risiko- und Qualitätsmanagement sowie Datenqualität erfüllen. Medizinprodukte der Klassen IIa, IIb und III nach EU-Medizinprodukteverordnung MDR fallen in diese Kategorie. Die Anforderungen umfassen:

Risikomanagementsystem: Muss während des gesamten Lebenszyklus des Systems eingerichtet und aktualisiert werden.
Daten und Daten-Governance: Trainings-, Validierungs- und Testdaten müssen entsprechende Qualitätskriterien erfüllen.
Technische Dokumentation: Muss nachweisen, dass die Anforderungen für Systeme mit hohem Risiko erfüllt sind.
Aufbewahrung der Aufzeichnungen: Automatische Protokolle zur Rückverfolgbarkeit über die gesamte Lebensdauer.
Transparenz und Information: Anwender müssen die Ergebnisse interpretieren und nutzen können; klare Gebrauchsanweisungen sind erforderlich.
Menschliche Aufsicht: Systeme müssen effektiv von Menschen überwacht werden können.
Genauigkeit, Robustheit und Cybersicherheit: Schutz vor Fehlern, Störungen und Angriffen muss gewährleistet sein. Dies betrifft vor allem KI-spezifische Schwachstellen wie bspw. Manipulation von Trainingsdaten (Data Poisoning) oder Modellumgehung.

Gerade im Bereich der Medizinproduktegibt es jedoch viele Parallelen zur EU-MDR, dazu später mehr.

Umsetzung und Auswirkungen

Die Umsetzung der Verordnung erfolgt schrittweise. 20 Tage nach der Veröffentlichung im Amtsblatt der EU tritt sie in Kraft und ist 24 Monate nach Inkrafttreten uneingeschränkt anwendbar. Ausnahmen bilden:

Verbot für KI-Anwendungen mit unannehmbarem Risiko: 6 Monate nach Inkrafttreten
Verhaltenskodizes: 9 Monate nach Inkrafttreten
KI-Systeme mit allgemeinem Verwendungszweck: 12 Monate nach Inkrafttreten
Verpflichtungen für Hochrisikosysteme: 36 Monate nach Inkrafttreten[4]

Abb. 5: Zeitstrahl der Umsetzung der EU AI Act Verordnung

Sind Datenschutz und Regulatorik nur etwas für gesunde Menschen?

„Ein Junge war 3 Jahre lang wegen chronischer Schmerzen bei 17 Ärzten. ChatGPT fand die Diagnose“, lautete die Überschrift des Artikels auf Today.com am 11. September 2023.[5]

Dies ist ein sehr konkretes Beispiel in Bezug auf den unbedachten Umgang mit Gesundheitsdaten bei der Nutzung künstlicher Intelligenz, es führt jedoch zu der Frage, welche Risiken Menschen bereit sind einzugehen, wenn sie selbst oder nahe Angehörige schwer erkrankt sind. Bin ich bereit, einer KI bzw. einem dahinterstehenden Unternehmen meine Patientenakte anzuvertrauen, damit mir geholfen wird? Würde ich einen Algorithmus, der nicht EU AI Act- oder EU-DSGVO-konform ist, einem konformen Algorithmus vorziehen, wenn ich dadurch länger lebe?

Diese Konkrete Beispiel mag auf den ersten Blick ein Plädoyer gegen Datenschutz und Regulierung sein, denn ein kranker Mensch wird sich immer für denjenigen Algorithmus entscheiden, der ihm hilft. Aber genau hier liegt auch das Problem. Ein Algorithmus, der mir eine plausible Diagnose gibt, wirkt „hilfreicher“ als einer, der diese nicht parat hat.

Verschiedene Studien zeigen jedoch, dass Diagnosen von KI-Systemen mit Vorsicht zu genießen sind. Zwar bescheinigte im August 2023 eine Studie von Mass General Brigham ChatGPT eine Diagnosegenauigkeit von knapp 72%[6], bei einer Studie des Cohen Children’s Medical Center in New York vom Januar 2024, bei der explizit Fälle bei Kindern untersucht wurden, wurden jedoch lediglich 17% der Fälle korrekt diagnostiziert.[7]

Diese Zahlen zeigen deutlich, wie wichtig es ist, dass KI-Systeme, die über die Behandlung von Patienten entscheiden und somit potenziell über Leben und Tod einer strengen Kontrolle unterliegen. Aus diesem Grund fallen solche Systeme, wie bereits erwähnt, in die Hochrisiko-Klasse.

EU AI Act und Medizinprodukte

Der AI Act dürfte Hersteller von Medizinprodukten weniger hart treffen als andere Hochrisiko-Systeme, da sich die Anforderungen oft mit der EU-MDR überschneiden. Hersteller sollten jedoch prüfen, ob Erweiterungen und Anpassungen notwendig sind, um auch den Schutz der Grundrechte zu gewährleisten.

Überschneidungen finden sich bspw. in den Artikeln zu:

Risikomanagementsystem (Art. 9)
Technische Dokumentation (Art. 11)
Transparenz u. Bereitstellung von Informationen (Art. 13)
Genauigkeit, Robustheit und Cybersicherheit (Art. 15)
Qualitätsmanagementsystem (Art. 17)
Informationspflicht u. Zusammenarbeit mit zuständigen Behörden (Art. 20, 21)
Konformitätsbewertung (Art. 47)
Überwachung nach dem Inverkehrbringen (Art. 72)
System zur Meldung schwerwiegender Vorfälle (Art. 73)

Die oben genannten Punkte werden bereits vollständig oder teilweise durch die MDR erfüllt. Hersteller von Medizinprodukten sollten jedoch auch diese Punkte noch einmal kritisch im Hinblick auf den AI Act prüfen, da hier ggf. Erweiterungen und Anpassungen vorzunehmen sind, da neben der MDR, die sich hauptsächlich auf Sicherheits- und Leistungsanforderungen bezieht, mit dem AI Act auch Aspekte wie der Schutz der Grundrechte mit einfließen.[8][9]

Abb. 6: Überschneidungen von Anforderungen MDR und AIAct

Chancen und Risiken

Stärkung des Binnenmarktes?

Die MDR wurde anfänglich als Überregulierung kritisiert, hatte jedoch positive Auswirkungen auf den EU-Binnenmarkt, da sich auf Grund der gestiegenen Anforderungen haben viele u.a. asiatische Hersteller aus dem Markt zurückgezogen haben. Sollte der EU AI Act nicht als Vorbild für eine Globale Regulatorik dienen, so könnte auch hier ein ähnlicher Effekt auftreten.

Globales Vorbild?

Initiativen wie der internationale Verhaltenskodex für fortgeschrittene KI-Systeme im Hiroshima-Prozess oder die OECD-Grundsätze für Künstliche Intelligenz zeigen ein weltweites Interesse an einer Regulierung Künstlicher Intelligenz.

Es gibt einige Aspekte des AI Act, die ihn zu einem potenziellen globalen Vorbild machen könnten. Als erste umfassende rechtliche Rahmenbedingung für KI weltweit, legt er einen starken Fokus auf die ethischen Aspekte der KI, einschließlich der Wahrung der Grundrechte und der Vermeidung von Diskriminierung. Drittens fördert er die Transparenz und die Rechenschaftspflicht von KI-Systemen, was dazu beitragen könnte, das Vertrauen der Öffentlichkeit in diese Technologien zu stärken. Als EU-Gesetz findet der AI Act in der drittstärksten AI-Region nach den USA und China Anwendung und ist somit bereits stark vertreten. So fallen knapp 20% der bemerkenswerten Modelle nach dem AI Index Report unter den AI Act.

Innovationsbremse?

Es gibt Bedenken, dass der AI Act die Innovation bremsen könnte. Strenge regulatorische Anforderungen könnten zu einer Überregulierung führen oder als solche Wahrgenommen werden, die die Entwicklung neuer KI-Technologien hemmt. Ein mit Verboten und Straftatbeständen gespickter Gesetzestext kann hier gerade bei kleinen Unternehmen und Startups Ängste schüren.

Ein weiteres Risko, dass den AI Act zu einer potenziellen Innovationsbremse macht, liegt in den bürokratischen Hürden, sollten die Mitgliedsstaaten es nicht schaffen, eine EU-weite Regulatorik zu schaffen und die Umsetzung des AI Act zu einem föderalen Flickenteppich enden.

Bislang wurden noch keine nationalen Aufsichtsbehörden festgelegt, die die Umsetzung der im AI Act festgelegten Anforderungen überprüfen sollen. Hier müssen bis zum Inkrafttreten des Gesetzes dringend Stellen geschaffen werden, die über ausreichend Kapazitäten und Kompetenzen verfügen, um die kommende Flut an Anträgen zu bewältigen. Auch hier lassen sich parallelen zur MDR ziehen, bei deren Inkrafttreten es zu massiven Engpässen bei den benannten stellen kam.

Fazit

Abschließend lässt sich sagen, dass der EU AI Act eine bedeutende Entwicklung in der Regulierung von künstlicher Intelligenz darstellt. Seine Einführung markiert einen wichtigen Schritt hin zu einem verantwortungsbewussten Umgang mit dieser Technologie und zur Sicherung von Grundrechten und ethischen Standards. Ob er jedoch als globales Vorbild dienen wird oder eher als Innovationsbremse wahrgenommen wird, bleibt abzuwarten und wird maßgeblich von seiner Umsetzung und den Auswirkungen auf die KI-Entwicklung und den Markt abhängen. Es ist entscheidend, dass der EU AI Act dazu beiträgt, Vertrauen in KI-Systeme zu stärken, ohne dabei die Innovationskraft der Branche zu behindern. Letztendlich liegt es an den Akteuren in Politik, Wirtschaft und Gesellschaft, die Chancen zu nutzen und die Risiken zu minimieren, um das volle Potenzial von künstlicher Intelligenz im Einklang mit den Grundwerten unserer Gesellschaft zu entfalten.

Meine Meinung?

Meiner Meinung nach ist es wichtig, bei einer Technologie, die zwar enorm viele Chancen bringt, aber auch ebenso viel Schaden anrichten kann, frühzeitig Leitplanken vorzugeben, an denen sich Entwickler und Nutzer orientieren können. Nun liegt es vielleicht in der Natur der Europäer im Allgemeinen und der Deutschen im speziellen eher die Risiken, als die Chancen in etwas Neuem zu sehen. Hieraus resultieren nicht selten Gesetzestexte, die extrem restriktiv und – mit hohen Strafen versehen – auf den ersten Blick abschreckend statt motivierend und innovationsfördernd wirken. Es wäre wünschenswert hier neben aller Regulatorik auch Chancen und Möglichkeiten zu adressieren und zu beleuchten, um eine innovationsfreundlichere Umgebung für junge Unternehmen zu schaffen.

Mit Blick auf die rasante Entwicklung von KI-Systemen, lässt sich nur schwer sagen, was bis zum Inkrafttreten des AI Act noch alles passieren wird. Eine Technologie, die sich so schnell entwickelt verlangt eine flexible Gesetzgebung. Es ist zu erwarten, dass der AI Act einem ebenso stetigen Wandel unterliegt, wie die Technologie selbst. Die wichtigste Aufgabe der Politik wird sein, eine Gesetzgebung zu schaffen, die mit der schnellen Entwicklung der Technologie schritthält und gleichzeitig eine Infrastruktur zu schaffen, um diese effektiv umzusetzen.