AI-Act: Was die neue KI-Verordnung regelt

KI-Systeme wie beispielsweise ChatGPT können Bewerbungen schreiben, Reisen planen, Studienarbeiten verfassen und sogar Kunstwerke nachahmen oder Stimmen imitieren. Aber mit der Popularität wächst das Bedürfnis nach Regulierung solcher KI-Systeme, da sie auch Risiken bergen. Das zeigte zum Beispiel der Fall um die KI-generierten Nacktbilder von Taylor Swift auf der Plattform X.

Um diesen Risiken zu begegnen, setzte sich die EU-Kommission zusammen und erarbeitete einen Entwurf für ein KI-Gesetz. Nach zwei Jahren Verhandlung einigte sich die Kommission kürzlich auf die EU-weite „Verordnung zur Festlegung harmonisierter Vorschriften über Künstliche Intelligenz“ (kurz „KI-Verordnung“, englisch „AI-Act“).

Die neuen Vorschriften zur Künstlichen Intelligenz sollen voraussichtlich im April 2024 verabschiedet werden. Die Abstimmung im Parlament ist für den 11. April geplant. Nach vorgesehener Übergangsfrist könnten die Vorschriften noch in diesem Jahr in Kraft treten. Es ist also Zeit, sich mit dem 200-seitigen Gesetzesentwurf zu beschäftigen. Was sind die wichtigsten Punkte des sogenannten „AI-Act“?

Was ist KI und für wen gilt die Verordnung?

Grob gesprochen meint KI eine lernfähige Software. Das steht im Wesentlichen auch in der deutlich ausführlicheren Definition im AI-Act. Die Verordnung gilt nicht nur für KI-Entwickler, sondern auch für Anbieter, Implementierer, Importeure, Vertreiber und Produkthersteller solcher Systeme, wenn diese an den EU-Markt angebunden sind. Allerdings werden auch Nutzer*innen von KI-Systemen bestimmte Pflichten auferlegt, es sei denn sie nutzen das System nur im privaten Kontext und nicht beruflich.

Social Scoring verboten, Hochrisiko-KI reguliert

Die Verordnung folgt einem risikobasierten Ansatz. KI-Systeme werden in verschiedene Risikostufen eingeteilt und je nach Risikostufe reguliert oder verboten.

KI-Systeme mit einem inakzeptabel hohen Risiko werden verboten. Dazu gehören beispielsweise KI-Systeme, die Menschen psychologisch manipulieren oder das sogenannte Social Scoring. Social Scoring meint, dass zu einer bestimmten Person massiv Daten abgegriffen werden, über die sich Aussagen generieren lassen, etwa über die Kreditwürdigkeit.

Was fällt alles unter den Begriff „Hochrisiko-KI“?

KI-Systeme in Bildungseinrichtungen, am Arbeitsplatz oder in den Bereichen Strafverfolgung, Migration, Justiz und Wahlen unterliegen strengen Regulierungen. Sie werden in der Verordnung als Hochrisiko-KI-Systeme eingestuft. Für sie gelten strenge Data-Governance-Anforderung.

Das lässt sich an einem Beispiel aus der Praxis gut erklären: Viele Unternehmen bedienen sich einer KI, um Bewerbungen zu sichten und Bewerber*innen nach Eignung zu sortieren. Zukünftig müssen Unternehmen ein Risikomanagement-System verwenden, um diese Anwendung sicher durchzuführen. Denn die Nutzung der Bewerbungs-KI kann zu Problemen führen. Zum Beispiel kann das Modell aufgrund von unzureichend diversen Trainingsdaten voreingenommene Entscheidungen treffen und Männer bevorzugen. Daher müssen die Trainingsdaten divers und repräsentativ sein. Die KI sollte außerdem transparent sein, damit das Personalteam versteht, wie das System arbeitet. Zudem muss sie robust gegenüber Cyberangriffen sein.

Die meisten Unternehmen setzen diese Anforderungen bereits um. Mit der Verordnung drohen jedoch Bußgelder, wenn Unternehmen die Regeln nicht einhält und die potenziellen Risiken nicht dokumentiert.

Einsatz biometrischer Daten und „Predictive Policing“

Bei den Verhandlungen zum Gesetzestext gab es große Meinungsverschiedenheiten bezüglich Systemen, die biometrische Daten verwenden.

Die Verwendung von Gesichtserkennung zur Fernüberwachung im öffentlichen Raum ist gemäß dem neuesten Entwurf grundsätzlich verboten. Es gibt jedoch Ausnahmen für Behörden und Regierungen, die solche Systeme in bestimmten Fällen (zum Beispiel bei der Verbrechens- und Terrorismusbekämpfung) nutzen dürfen. Dies gilt jedoch nur für die Live-Überwachung. Die Vorgaben zur nachträglichen Sichtung des Materials sind im Entwurf nicht ausführlich formuliert.

Das sogenannte „Predictive Policing“ wird teilweise verboten. Darunter versteht man den Einsatz von KI, um abzuschätzen, ob eine Person eine Straftat zukünftig begehen wird oder nicht. Verboten wird sein, diese Einschätzung auf der Grundlage von rein persönlichen Merkmalen zu machen, also beispielsweise der Hautfarbe. Nicht verboten ist dagegen die Nutzung von geografischen Systemen, also solche, die vorhersagen, ob und wann Straftaten in einem bestimmten Gebiet (zum Beispiel in einem Stadtteil) stattfinden.

Anbieter von Basismodellen müssen Trainingsdaten offenlegen

Im Gesetz werden die sogenannten „Basismodelle“ (teilweise auch „Foundation Models“ oder „General-Purpose-AI“,GPAI genannt) in einem eigenen Kapitel geregelt. Basismodelle sind KI-Systeme, die mit großen Datenmengen „gefüttert“ werden und die Grundlage für Generative KI wie ChatGPT bilden.

Anbieter solcher Systeme unterliegen Transparenzverpflichtungen. Auch Unternehmen, die Anwendungen nutzen, die auf Basismodellen aufbauen, sind davon betroffen. Solche Unternehmen müssen demnach erklären, mit welchen Testverfahren und Trainingsdaten sie das Basismodell gefüttert haben, es sei denn es handelt sich um Open-Source-Modelle. Weiter müssen Unternehmen auch eine Zusammenfassung über das urheberrechtlich geschützte Material (wie Texte oder Bilder) bereitstellen, das zum Trainieren der Modelle verwendet wurde. Ob das tatsächlich bedeutet, dass Anbieter eine Liste aller verwendeten Werke zur Verfügung stellen müssen, ist noch nicht klar. Der AI-Act verlangt lediglich eine „hinreichend detaillierte Zusammenfassung“. Es soll aber zukünftig eine Vorlage dafür geben.

Die von einer KI generierten Inhalte müssen auch als solche identifiziert werden können. Dabei sollen Unternehmen selbst Lösungen implementieren, die das möglich machen und die „hinreichend zuverlässig, interoperabel, wirksam und robust“ sind, soweit technisch machbar. Der AI-Act schreibt nicht explizit vor, wie das umgesetzt werden soll. Das sogenannte „Watermarking“ ist also kein Muss. Jedoch sagt die EU-Kommission selbst, dass die Umsetzung dieser Vorschriften den Einsatz von „Watermarking“ wahrscheinlich erforderlich machen wird. Die Vorgabe zur Identifizierung von KI-Inhalten gilt nicht, wenn Systeme lediglich Texte und Bilder verbessern, aber nicht neu produzieren. Es besteht ein hoher Auslegungsspielraum bei diesem Punkt, und es bleibt abzuwarten, wie Gerichte damit umgehen.

Basismodelle sind riskant bei hohem Energieverbrauch

Basismodelle, die besonders riskant sind, werden als „systemisches Risiko“ eingestuft. Dies ist der Fall, wenn das Modell über eine hohe Leistungsfähigkeit verfügt. Dabei ist die Rechenleistung ausschlaggebend. Sie stellen ein „systemisches Risiko“ dar, wenn der Rechenaufwand für das Modelltraining mehr als 10^25 Gleitkommaoperationen (FLOPs) beträgt. Anbieter solcher risikoreichen Basismodelle müssen weitere Kriterien erfüllen und Strategien zur Risikominderung der Modelle entwickeln und dokumentieren, wie hoch der Energieverbrauch der Modelle ist. Zudem müssen sie spezielle Cybersicherheitsstrategien anwenden.

Deepfakes

Die KI-Verordnung reguliert auch sogenannte „Deepfakes“, so zum Beispiel die eingangs erwähnten KI-generierten Bilder von Taylor Swift.

Anbieter von „Deepfakes“ müssen ebenfalls bestimmte Offenlegungspflichten erfüllen. Es muss für den Betrachter des KI-generierten Bildes erkennbar sein, dass es sich um ein „Deepfake“ handelt und nicht um ein echtes Foto. Eine Ausnahme besteht nur dann, wenn die Verwendung gesetzlich zur Aufdeckung, Verhinderung, Untersuchung und Verfolgung von Straftaten zugelassen ist.

Reaktionen aus Politik und Wirtschaft

Vor der finalen Abstimmung Anfang Februar äußerten vor allem Deutschland und Frankreich Bedenken. Deutschland kritisierte, dass der Gesetzestext zu ungenau sei und zu viele Ausnahmen vorsähe. Frankreich setzte sich für mehr Freiheiten für Strafverfolgungsbehörden bei dem Einsatz von KI, die biometrische Echtzeit-Daten erfasst, ein. Letztendlich stimmten jedoch beide Staaten dem Entwurf zu.

Viele Unternehmen in Deutschland begrüßen die neue KI-Verordnung, so auch das größte deutsche KI-Unternehmen Aleph Alpha. Das Unternehmen hatte einer Recherche von Lobby Control zufolge wohl auch während der Verhandlungen sehr eng mit der Bundesregierung zusammengearbeitet. Gegenüber Heise spricht sich Aleph Alpha grundsätzlich für die Verordnung aus. Auch die Kultur-, Kreativ- und Medienwirtschaft der Bundesrepublik Deutschland legte der Bundesregierung in einem offenen Brief nahe, für die KI-Verordnung zu stimmen. Hinter dem Brief steckt „Die Initiative Urheberrecht“, die die urheberrechtlichen Interessen von rund 140.000 Urheber*innen und Künstler*innen vertritt. Zu den Unterzeichnern gehören unter anderem der Bundesverband Bildender Künstlerinnen und Künstler;,die Deutsche Journalist:innen Union oder auch ver.di.

Fazit und Ausblick

An vielen Stellen der Verordnung ist noch unklar, wie die Vorgaben praktisch umgesetzt werden sollen (etwa bei den Transparenzverpflichtungen für Anbieter von Basismodellen). Das sorgt für Rechtsunsicherheit. Auch lässt die Verordnung militärische Anwendungen und KI-Systeme, die für die nationale Sicherheit eingesetzt werden, völlig unbeachtet. Der Einsatz von autonomen KI-Systemen, die eigenständig Entscheidungen treffen, ist aber besonders im militärischen Bereich gefährlich und sollte reguliert werden. Auch der Einsatz von KI für die nationale Sicherheit, zum Beispiel im Bereich der Migration, sollte klaren Regeln folgen. Dennoch ist das Gesetz ein Schritt in die richtige Richtung zur Regelung von Künstlicher Intelligenz und aufgrund des stetig wachsenden Fortschritts von KI unverzichtbar.

Die Verordnung könnte noch im Jahr 2024 in Kraft treten, idealerweise vor dem Ende der aktuellen Legislaturperiode im Juni. Zwei Jahre später sind die Vorschriften dann anwendbar. Die Verbote für Systeme mit unannehmbaren Risiko gelten jedoch bereits 6 Monate nach Inkrafttreten des Gesetzes, möglicherweise also bereits Ende dieses Jahres. Anbieter von Basismodellen müssen die Anforderungen an die Modelle bereits 1 Jahr nach Inkrafttreten erfüllen.

Sarah Baumann ist Autorin bei iRights.info und Wissenschaftliche Mitarbeiterin in der Kanzlei Morrison Foerster. Sie hat 2023 ihr 1. juristisches Staatsexamen absolviert und ist vor allem an Fragestellungen rund um das IT-Recht interessiert. In ihrer Arbeit als Wissenschaftliche Mitarbeiterin beschäftigt sie sich außerdem mit dem Bereich Intellectual Property.