KI-Agenten im Fokus

„2025 ist das Jahr der KI-Agenten“, prognostizierte Kevin Weil, Chief Product Officer von OpenAI, Anfang Januar beim Weltwirtschaftsforum in Davos. Das US-amerikanische Cloud-Computing-Unternehmen Salesforce kündigt an, bis Ende des Jahres „eine Milliarde Agenten“ zu aktivieren. In vielen Wirtschaftsbereichen werden KI-Agenten bereits eingesetzt: in der Kundenbetreuung (Service-Bots), in der Softwareentwicklung (Automatisierung von Code-Reviews und Dokumentationen) sowie im Marketing (Automatisierung von Kampagnen) etwa. Auch im Finanzwesen werden sie zunehmend genutzt. Sie helfen dabei, wiederkehrende oder komplexe Aufgaben effizienter zu erledigen. Doch was sind KI-Agenten und welche rechtlichen Fragen werfen sie auf?

Was KI-Agenten von Chatbots unterscheidet

Im Gegensatz zu klassischen Chatbots können KI-Agenten „eigenständig“ mal mehr, mal weniger komplexe Ziele verfolgen und dabei sowohl in virtuellen als auch in realen Umgebungen handeln. Ein KI-Agent kann etwa Websites bedienen, E-Mails schreiben, in Software navigieren, Datenbanken durchsuchen oder Code generieren. Über programmierbare Software-Schnittstellen (auf Englisch: Application Programming Interfaces, kurz: API) lassen sich auch alltägliche Aktionen auslösen: Geld überweisen, Bestellungen aufgeben, Termine buchen oder Smart-Home-Geräte steuern zum Beispiel.

Technisch bestehen KI-Agenten aus einem leistungsstarken Sprachmodell und zusätzlicher Software, die Zugang zu externen Werkzeugen, Datenbeständen oder Dateien ermöglicht. Diese Systeme werden unter anderem von großen Technologieanbietern wie OpenAI, Google oder Microsoft als Zusatzdienste angeboten. Firmen können KI-Agentensysteme auch selbst entwickeln, indem sie beispielsweise vortrainierte große Sprachmodelle mit unternehmenseigenen Daten feinjustieren (Fine-Tuning). Oder indem sie spezielle Agentensysteme auf Basis von Retrieval Augmented Generation (RAG)-Methoden bauen (siehe auch Glossarbeitrag zu RAG weiter unten), die beispielsweise auf firmenspezifische Informationen zugreifen. Es gibt auch KI-Plattformen, die sogenannte Low-Code-Ansätze anbieten. Diese ermöglichen es Unternehmen, eigene KI-Agenten zu konfigurieren, ohne selbst KI-Modelle programmieren zu müssen.

Rechtliche Risiken und regulatorische Lücken

Rechtlich gesehen sind KI-Agenten grundsätzlich KI-Systeme im Sinne der EU-weiten KI-Verordnung (KI-VO). Die Einordnung in Risikoklassen der KI-VO hängt jedoch vom konkreten Einsatzzweck ab. Da KI-Agenten oft auf leistungsstarken Sprachmodellen basieren, die potenziell systemische Risiken bergen, unterliegen sie häufig den erweiterten Anforderungen zur Risikoabschätzung und -minderung. Beispielsweise bei Langzeitplanungen eines KI-Agenten, der Finanztransaktionen eigenständig ausführt. Kommt ein KI-Agent in kritischen Bereichen wie Medizin, Bildung oder Infrastruktur zum Einsatz, greifen strengere Anforderungen (Kapitel III der KI-VO). Anbieter von KI-Modellen mit vielseitigen Fähigkeiten (sogenannte General-Purpose-AI-Models, GPAI) müssen systematisch alle Risiken, die durch den Einsatz ihrer Modelle entstehen können, identifizieren, bewerten und geeignete Maßnahmen zu deren Beherrschung umsetzen.

Wer trägt welche Verantwortung?

Die KI-VO weist Pflichten entlang der gesamten Wertschöpfungskette zu. Setzt ein Unternehmen etwa einen KI-Agenten für die Personalauswahl ein – ein Hochrisikobereich laut KI-VO – muss es sicherstellen, dass er diskriminierungsfrei beziehungsweise diskrimierungsmindernd funktioniert. Die Verantwortung bleibt beim Unternehmen, auch wenn die Technik von einem externen Anbieter stammt.

Sofern KI-Agenten nachweislich Schäden verursachen, ist allerdings oft unklar, wer dafür haftet: War es ein Modellfehler seitens des KI-Herstellers, ein Konfigurationsproblem oder mangelnde Überwachung seitens des KI-Betreibers? Effektive Kontrolle erfordert eine detaillierte Protokollierung. Wenn KI-Agenten nämlich für persönliche Aufgaben eingesetzt werden, kann Systemüberwachung schnell die Privatsphäre verletzen. Die aktuellen Regelungen der KI-VO zu Hochrisiko-Anwendungen erfassen die spezifischen Gefahren von KI-Agenten – zumindest in ihrer derzeitigen Fassung – noch nicht vollständig.

Wie kann sich die Rechtslage weiterentwickeln?

Die rechtliche Einordnung wird sich schrittweise klären – durch Gerichtsurteile in bedeutenden Verfahren, Praxisleitfäden und regulatorische Konzepte. Eine mögliche Lösung sind sogenannte Sandboxes: kontrollierte Umgebungen, in denen Regulierungsbehörden, Unternehmen und mitunter Verbraucher*innen gemeinsam neue Lösungen, Produkte oder Dienstleistungen testen können, ohne die regulatorischen Anforderungen vollständig erfüllen zu müssen. Allerdings ist umstritten, wie übertragbar die Ergebnisse und Erkenntnisse aus den Tests in der Sandbox sind und ob sie sich hinreichend skalieren lassen.

Nicht zuletzt sollten auch Expert*innengremien eingesetzt und die Zivilgesellschaft eingebunden werden, um die Regulierung von KI-Agenten weiterzuentwickeln. Zudem geht es auch darum, die komplexen rechtlichen und ethischen Fragestellungen zu klären und praxisnah zu gestalten. Stand Juni 2025 arbeitet die EU-Kommission intensiv an den in der KI-VO festgelegten Schritten zur Umsetzung der einzelnen Regelungskapitel. Allerdings hinkt sie bei den Praxisleitfäden bereits hinter dem  Zeitplan her. Durch Interventionen von Verbänden und Politiker*innen aus zahlreichen EU-Mitgliedsländern wird zudem schon diskutiert, ob und wie die Fristen und Ziele der KI-VO-Umsetzung gelockert beziehungsweise geändert werden sollten.

Verantwortung von Anfang an mitdenken

Die rechtlichen Rahmenbedingungen für KI-Agenten entstehen gerade erst. Viele zentrale Fragen sind offen – beispielsweise die genaue Definition von „Allzweck-Systemen“ oder die praktische Umsetzung menschlicher Aufsicht. Die KI-VO bietet zwar eine Grundlage, doch viele Details fehlen noch. Umso wichtiger ist es daher für Organisationen und Unternehmen, diese Entwicklungen aufmerksam zu verfolgen. Zudem sollten sie beim Einsatz und Entwickeln von KI-Agenten von Anfang an auf ethische Standards setzen und gesetzeskonform handeln (Compliance). KI-Agenten können Fehler machen, unerwünschte Aktionen ausführen oder Sicherheitslücken verursachen. Deshalb ist es unerlässlich, Mechanismen zur Überwachung zu etablieren, Eingriffe in die KI-gestützten Abläufe zu ermöglichen und diese transparent und nachvollziehbar zu gestalten.

Der Text stammt aus der aktuellen Ausgabe des monatlichen Newsletters prompt/ aus dem iRights.Lab. Der Text ist – wie der gesamte Newsletter – offen lizenziert. Hier können Sie die vollständige Juli-Ausgabe einsehen und abonnieren.