AI Act 2025: Die wichtigsten Fragen & Erkenntnisse

Wie unterscheiden sich KI-Modelle, KI-Systeme und GPAI-Systeme voneinander (KI-Taxonomie)?

Die Unterscheidung zwischen Modell- und Systemebene im Kontext des AI Act ist wichtig für das Verständnis der verschiedenen Regulierungsebenen.

KI-System

Ein KI-System wird im AI Act sehr weit definiert als „ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben, wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen, erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können“.

• Ein KI-System ist also maschinengestützt.
• Es operiert in unterschiedlichen Graden autonom.
• Es besitzt potenzielle Anpassungsfähigkeit nach seiner Betriebsaufnahme.
• Es hat die Fähigkeit, aus Eingaben explizite oder implizite Ziele abzuleiten (Inferenz).
• Die Ausgaben können die physische oder virtuelle Umgebung beeinflussen.

Die Definition des KI-Systems ist bewusst weit gefasst, um möglichst viele Anwendungsfälle zu erfassen. Das zentrale Merkmal ist die Fähigkeit zur Ableitung, die ein KI-System von rein regelbasierten Algorithmen abgrenzt.

KI-Modell

Der Begriff des „KI-Modells“ wird im AI Act insbesondere im Zusammenhang mit General Purpose AI (GPAI) verwendet, aber nicht separat definiert. Ein GPAI-Modell ist ein KI-Modell, das mit einer großen Datenmenge unter umfassender Selbstüberwachung trainiert wurde und in der Lage ist, ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen.

Diese Modelle können in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert und durch Feintuning für spezielle Aufgaben optimiert werden. Der AI Act sieht für GPAI-Modelle, die als systemisches Risiko gelten, weitergehende regulatorische Pflichten vor. Mit einem systemischen Risiko werden insbesondere solche GPAI-Modelle eingestuft, die zu den leistungsstärksten ihrer Generation zählen oder anderweitig erhebliche Auswirkungen auf Gesellschaft und Wirtschaft haben können.

Ein Indikator hierfür ist etwa eine außergewöhnlich hohe Rechenleistung (z. B. über 10^25 FLOPs). Zu den Modellen, die typischerweise als Beispiele für GPAI mit systemischem Risiko genannt werden, zählen GPT-4 bzw. GPT-4o und Gemini Ultra.

GPAI-System

Ein GPAI-System entsteht, wenn ein GPAI-Modell als Baustein in ein konkretes KI-System integriert wird. Diese Integration kann beispielsweise über eine API erfolgen, wodurch das Modell für eine Vielzahl von Zwecken nutzbar ist – sowohl direkt durch Endanwender als auch als Komponente in anderen KI-Systemen.

Das so entstandene finale KI-System wird anschließend risikobasiert nach seinem jeweiligen Einsatzzweck reguliert.

Regulierung der GPAI-Modelle

Anbieter von GPAI-Modellen unterliegen speziellen Pflichten (Art. 53 AI Act). Dazu gehören unter anderem die Erstellung einer technischen Dokumentation und die Bereitstellung relevanter Informationen für nachgelagerte Anbieter. Zudem müssen Anbieter eine Zusammenfassung der Inhalte veröffentlichen, mit denen das Modell trainiert wurde.

GPAI-Modelle mit systemischem Risiko (aufgrund eines hohen Wirkungsgrads, z. B. Überschreiten des FLOPs-Schwellenwerts) unterliegen zusätzlichen Anbieterpflichten (Art. 55 AI Act). Dazu zählen insbesondere eine umfassende Modellbewertung, einschließlich Angriffstests, Maßnahmen zur Risikominderung auf EU-Ebene, die Dokumentation und Meldung schwerwiegender Vorfälle sowie die Sicherstellung angemessener Cybersicherheitsstandards.

Der Schwellenwert, ab dem ein GPAI-Modell als systemisches Risiko gilt, kann durch delegierte Rechtsakte angepasst werden.

Regulierung der KI-Systeme, die GPAI-Modelle integrieren

Wenn ein GPAI-Modell in ein spezifisches KI-System integriert wird, erfolgt die Regulierung dieses Gesamtsystems abhängig vom jeweiligen Anwendungsbereich und den damit verbundenen Risiken. Der AI Act unterscheidet dabei zwischen KI-Systemen mit unzulässigem, hohem, begrenztem oder minimalem Risiko. Die jeweiligen regulatorischen Anforderungen richten sich danach, in welche dieser Risikokategorien das KI-System fällt.

Zusammengefasst bedeutet dies, dass GPAI-Modelle per se unabhängig von den KI-Systemen gesondert reguliert werden. Gleichzeitig erfolgt eine risikobasierte Regulierung der konkreten KI-Systeme, die GPAI-Modelle verwenden, entsprechend ihres spezifischen Einsatzgebiets.

Welche Bedeutung hat die KI-Kompetenz (AI Literacy) und welche Pflichten ergeben sich daraus?

Die sogenannte KI-Kompetenz (auch als AI Literacy bezeichnet) spielt im AI Act eine zentrale Rolle. AI Literacy bedeutet, dass Personen, die KI-Systeme betreiben oder nutzen, über ausreichende Kenntnisse, Erfahrungen und Schulungen verfügen, um diese verantwortungsvoll und dem Einsatzkontext angemessen anzuwenden.

Gemäß Art. 4 AI Act sind Unternehmen verpflichtet, sicherzustellen, dass alle relevanten Mitarbeitenden über ein angemessenes Maß an KI-Kompetenz verfügen – unabhängig davon, ob das eingesetzte KI-System als gering, hoch oder anderweitig risikobehaftet eingestuft wird. Dabei müssen insbesondere das technische Wissen, die berufliche Erfahrung sowie der jeweilige Anwendungskontext berücksichtigt werden.

Zwar sind Verstöße gegen diese Pflicht bislang nicht direkt bußgeldbewehrt, dennoch können sich bei Schäden durch fehlerhaften KI-Einsatz haftungsrechtliche Konsequenzen ergeben. Fehlende Schulungen könnten in solchen Fällen als Verletzung von Sorgfaltspflichten gewertet werden.

Unternehmen sind daher gut beraten, ihre Mitarbeitenden regelmäßig im Umgang mit KI zu schulen – idealerweise interdisziplinär, also mit Blick auf technische, rechtliche und ethische Fragestellungen. Die Maßnahmen sollten dokumentiert und an den aktuellen Stand der Technik sowie an gesetzliche Anforderungen angepasst werden. Auf diese Weise lässt sich nicht nur rechtlichen Risiken vorbeugen, sondern auch eine verantwortungsvolle und kompetente Nutzung von KI im Unternehmen fördern.

Wie baut man eine KI-Nutzungsrichtlinie (AI Usage Policy) richtig auf?

Der EU AI Act schreibt Unternehmen nicht ausdrücklich vor, eine eigene KI-Nutzungsrichtlinie zu erlassen. Gleichwohl empfiehlt sie sich als zentrales Compliance-Instrument, um die organisatorischen Pflichten der Verordnung – etwa zu Schulung, Transparenz und Risikomanagement – systematisch abzubilden.

Ohne eine KI-Nutzungsrichtlinie kann der Einsatz von KI-Systemen durch Arbeitnehmer dem Arbeitgeber zugerechnet werden. Im Normalfall gilt das Unternehmen (Arbeitgeber) als Betreiber des KI-Systems unter eigener Autorität. Nutzt ein Mitarbeiter ein KI-Tool jedoch eigenmächtig und entgegen interner Vorgaben („Mitarbeiterexzess“), kann der Mitarbeiter in Einzelfällen selbst als Betreiber eingestuft werden – ein noch nicht abschließend geklärter Graubereich.

Eine klare AI Usage Policy reduziert dieses Risiko, indem sie Verantwortlichkeiten, Freigabeprozesse und Verbote eindeutig festlegt.

Schlüsselkomponenten einer KI-Nutzungsrichtlinie / AI Usage Policy

Bei der Erstellung einer solchen Richtlinie sollten Sie folgende Inhalte in Betracht ziehen:

• Prozesse und Verantwortliche: Die Richtlinie sollte klare Prozesse für die Nutzung von KI-Systemen festlegen und benennen, wer für welche Aspekte verantwortlich ist.
• Ethische Standards: Es sollten ethische Grundsätze für den Einsatz von KI definiert werden. Dies kann beispielsweise den Umgang mit Verzerrungen (Bias) in KI-Systemen umfassen.
• Vorgaben zum Datenschutz und zur Vertraulichkeit: Da der Einsatz von KI oft mit der Verarbeitung von Daten einhergeht, müssen in der Richtlinie klare Vorgaben zum Datenschutz gemäß der DSGVO und zum Schutz von Geschäftsgeheimnissen enthalten sein.
• Maßnahmen zur Abmilderung von Manipulations- und Fehlinformationsrisiken: Insbesondere im Hinblick auf KI-generierte Inhalte (z. B. Deepfakes) sollten Richtlinien festlegen, wie diese Risiken minimiert werden können. Dies kann beispielsweise die Kennzeichnungspflicht gemäß Art. 50 AI Act umfassen, wenn Deepfake-Videos für Marketing in sozialen Medien eingesetzt werden.
• Regelungen zur KI-Kompetenz (AI Literacy): Die Richtlinie sollte auf die Notwendigkeit hinweisen, dass Mitarbeiter über ein ausreichendes Maß an KI-Kompetenz verfügen (Art. 4 AI Act). Dies kann die Verpflichtung zu Schulungen und Weiterbildungen beinhalten, um einen sachkundigen Einsatz von KI-Systemen zu gewährleisten und sich der Chancen und Risiken bewusst zu sein. Die Schulungen sollten idealerweise die Bereiche Recht, Technik und Ethik umfassen.
• Klare Anweisungen zur Nutzung bestimmter KI-Tools: Wenn spezifische KI-Tools im Unternehmen eingesetzt werden dürfen, sollte die Richtlinie klare Anweisungen für deren korrekte und verantwortungsvolle Nutzung enthalten.
• Folgen bei Verstößen gegen die Richtlinie: Um die Einhaltung der AI Usage Policy zu gewährleisten, sollten auch mögliche Konsequenzen bei Verstößen klar benannt werden.

Best Practice

Verankern Sie die AI Usage Policy als Konkretisierung der bestehenden Unternehmensrichtlinien. Ergänzen Sie sie durch Prozessbeschreibungen, Checklisten und Dokumentationsvorlagen und arbeiten Sie interdisziplinär (Recht, IT, HR, Compliance), um die AI Act-Vorgaben ganzheitlich abzudecken. So wird die Nutzungsrichtlinie zum tragenden Baustein einer wirksamen Legal-AI-Governance.

Wie hängt der AI Act mit anderen Rechtsbereichen – wie dem Datenschutz – zusammen?

Der AI Act und die DSGVO interagieren eng miteinander, da viele KI-Systeme mit großen Mengen an (auch personenbezogenen) Daten arbeiten. Der AI Act enthält ebenfalls datenschutzrechtliche Regelungen, jedoch liegt der Fokus der Verordnung nicht primär auf dem Datenschutz. Vielmehr lässt der AI Act bestehendes Datenschutzrecht unberührt und ergänzt es lediglich. Bei der Entwicklung und Nutzung von KI-Systemen kann es daher zu zahlreichen Wechselwirkungen und potenziellen "Doppelverpflichtungen" aus beiden Verordnungen kommen.

Synergien ergeben sich beispielsweise in Bereichen wie der Risikobewertung. Die Methodik der Datenschutz-Folgenabschätzung (DSFA) nach Art. 35 DSGVO kann dabei in weiten Teilen auf die Risikoanalyse nach Art. 9 AI Act übertragbar sein. Die Beachtung der DSGVO-Grundsätze wie Datenqualität und -richtigkeit kann auch zur Einhaltung der Daten-Governance-Pflichten des AI Act beitragen.

"Doppelverpflichtungen" können entstehen, da einige Anforderungen des AI Act die Verarbeitung von Daten erfordern, die wiederum den Vorgaben der DSGVO unterliegen (z. B. Überprüfung von Trainingsdaten, Aufzeichnungspflichten).

Es ist wichtig zu beachten, dass der AI Act selbst keine Rechtsgrundlage für die Verarbeitung personenbezogener Daten im Sinne der DSGVO darstellt. Hierfür muss immer eine separate Rechtsgrundlage (z. B. Einwilligung, berechtigtes Interesse) vorliegen.

Unternehmen müssen daher bei der Entwicklung und dem Einsatz von KI-Systemen die Anforderungen beider Verordnungen berücksichtigen und ein kohärentes Governance-System implementieren.

Erfahren Sie mehr über das Zusammenspiel von Datenschutz & KI in unserem Blog-Beitrag.

Wie klassifiziert der AI Act verschiedene KI-Systeme und welche regulatorischen Anforderungen ergeben sich daraus?

Der AI Act reguliert KI-Systeme nach einem risikobasierten Ansatz. Das bedeutet, dass die Strenge der regulatorischen Anforderungen vom Grad des Risikos abhängt, das ein KI-System für die Gesundheit, Sicherheit und Grundrechte von EU-Bürger:innen oder andere sensible Rechtsgüter birgt.

Dort, wo keine Risiken bestehen, gibt es grundsätzlich keine rechtlichen Verpflichtungen. Der AI Act unterscheidet nach einem Vier-Stufen-Modell zwischen verbotenen Systemen, Hochrisiko-Systemen, Systemen mit begrenztem Risiko (Transparenzriciken) und Systemen mit minimalem Risiko:

Verbotene Praktiken (unzulässiges Risiko) erfassen bestimmte Formen der manipulativen Verhaltenssteuerung oder umfassendes Social Scoring und sind nach Art. 5 AI Act vollständig untersagt; Verstöße können Bußgelder von bis zu 35 Mio. € bzw. 7 % des weltweiten Jahresumsatzes nach sich ziehen.

Hochrisiko-KI (hohes Risiko) liegt vor, wenn (a) wenn es entweder als eigenständiges Produkt oder als Sicherheitskomponente einem Konformitätsbewertungsverfahren nach Unionsrecht unterliegt (z.B. Medizinprodukte nach der Medical Device Regulation), (b) es in einem der Anwendungsbereiche des Anhangs III – etwa Personalmanagement, kritische Infrastruktur oder Bildung – eingesetzt wird.

Für Anbieter und Betreiber gelten umfassende Pflichten, darunter:

• Einrichtung eines Risikomanagementsystems
• Spezifische Anforderungen an Datenqualität und Daten-Governance
• Erstellung technischer Dokumentation
• Sicherstellung der automatischen Protokollierung (Logging)
• Gewährleistung von Transparenz durch Bereitstellung von Informationen und Betriebsanleitungen für Betreiber
• Design für effektive menschliche Aufsicht
• Gewährleistung von Genauigkeit, Robustheit und Cybersicherheit
• Einrichtung eines Qualitätsmanagementsystems.
• Durchführung eines Konformitätsbewertungsverfahrens.
• Registrierung in einer EU-Datenbank (für Anbieter)
• Für Betreiber: Nutzung gemäß Anweisung, menschliche Aufsicht, Protokollierung und ggf. Durchführung einer Grundrechte-Folgenabschätzung (GRFA) sowie einer Datenschutz-Folgenabschätzung (DSFA).

Auch hier drohen bei Verstößen hohe Bußgelder. Es gibt Ausnahmen, wenn das Risiko als unwesentlich eingestuft wird, aber diese gelten nicht bei Profiling i.S.d. DSGVO.

Bestimmte KI-Systeme mit begrenztem Risiko unterliegen den spezifischen Transparenzpflichten des Art. 50 AI Act. So ist bei KI-Systemen, die mit natürlichen Personen interagieren – etwa Chatbots – klar und verständlich offenzulegen, dass es sich um eine KI handelt.

Ebenso müssen KI-generierte Inhalte wie Audio-, Bild- oder Videomaterial (z. B. Deepfakes), sofern sie realistisch wirken können, als künstlich erzeugt gekennzeichnet werden.

Für Anbieter von GPAI-Modellen gelten darüber hinaus die Vorgaben aus Kapitel V des AI Act, insbesondere zu Transparenz, technischer Dokumentation sowie – bei systemischer Bedeutung – weitergehende Verpflichtungen wie Risikobewertungen und Sicherheitsmaßnahmen.

KI-Systeme mit minimalem Risiko: Von diesen Systemen gehen keine spezifischen Risiken aus. Für alle Risikoklassen gilt jedoch die grundlegende Pflicht zur KI-Kompetenz (AI Literacy). Unternehmen müssen sicherstellen, dass das Personal über ausreichende Kenntnisse für den Umgang mit KI verfügt.

Während aktuell keine direkten AI Act Bußgelder für mangelnde AI Literacy drohen, kann das Unterlassen der Umsetzung bei Schäden zu Haftungsansprüchen nach nationalem Recht führen. Eine entsprechende Dokumentation ist daher wichtig.

Wichtige übergreifende Aspekte

• Der AI Act gilt parallel zur DSGVO. Bei der Verarbeitung personenbezogener Daten müssen immer beide Verordnungen beachtet werden, insbesondere bei Datenqualität, Transparenz, Dokumentation und der Wahl einer Rechtsgrundlage. Die Nutzung von anonymisierten, pseudonymisierten oder synthetischen Daten wird empfohlen.
• Die Vorschriften treten schrittweise in Kraft, beginnend mit verbotenen Praktiken und AI Literacy am 2. Februar 2025. Die umfassenden Pflichten für Hochrisiko-KI folgen später.
• Der AI Act hat einen extraterritorialen Anwendungsbereich: Auch Anbieter außerhalb der EU fallen darunter, wenn ihre Systeme in der Union eingesetzt werden oder deren Ergebnisse dort genutzt werden.
• Die Rolle als Anbieter oder Betreiber ist entscheidend für die Pflichten. Unternehmen, die KI entwickeln (lassen) und in Verkehr bringen oder in Betrieb nehmen oder ein bestehendes Hochrisiko-KI-System wesentlich verändern, können zum Anbieter werden. Betreiber sind nach dem AI Act diejenigen, die ein KI-System in eigener Verantwortung im beruflichen Kontext verwenden. Arbeitgeber sind in aller Regel Betreiber der von Mitarbeitenden genutzten KI. Handelt ein Beschäftigter eigenmächtig außerhalb seiner Weisungen, kann dem Beschäftigten jedoch eine eigenständige Betreiberrolle zukommen.

Fazit und Ausblick zum AI Act

Unternehmen sollten proaktiv werden, um sich auf die bevorstehenden Anforderungen des AI Act vorzubereiten. Wesentliche Schritte umfassen:

• Aufbau eines KI-Governance-Systems: Dies beinhaltet die Bildung eines interdisziplinären Teams, die Sensibilisierung für KI und damit verbundene Risiken im gesamten Unternehmen sowie die Bestimmung von Verantwortlichen für die AI Act-Compliance.
• Erstellung einer unternehmensspezifischen KI-Richtlinie: Diese sollte Prozesse, Verantwortlichkeiten, ethische Standards, Datenschutzvorgaben und Maßnahmen zur Risikominimierung festlegen.
• Durchführung eines "Regulatory Mappings": Identifizierung aller relevanten Gesetze (neben dem AI Act), die KI regulieren, einschließlich branchenspezifischer Vorschriften wie der MDR.
• Bestimmung des personellen Anwendungsbereichs: Klärung, ob das Unternehmen als Anbieter, Betreiber, Einführer oder Händler von KI-Systemen agiert.
• Durchführung einer Risikoanalyse und Klassifizierung der KI-Anwendungen: Zuordnung der eingesetzten und geplanten KI-Use Cases zu den Risikokategorien des AI Act.
• Überprüfung und Anpassung bestehender Prozesse: Integration der Anforderungen des AI Act in bestehende Abläufe, z. B. im Risikomanagement und der technischen Dokumentation.
• Förderung der KI-Kompetenz (AI Literacy): Schulung der Mitarbeiter im sachkundigen Umgang mit KI-Systemen unter Berücksichtigung rechtlicher, technischer und ethischer Aspekte.
• Verfolgung der Veröffentlichungen der EU-Kommission und technischer Normungsinstitute: Bleiben Sie über Leitlinien und harmonisierte Normen auf dem Laufenden.
• Prüfung und Überarbeitung von Richtlinien und Verfahren: Erstellen oder Aktualisieren von KI-Richtlinien, Nutzungsrichtlinien und Datenschutz-Folgenabschätzungen.
• Entwicklung einer Strategie für den Umgang mit Hochrisiko-Altsystemen: Berücksichtigen Sie den Bestandsschutz und mögliche wesentliche Änderungen.
• Prüfung der Kooperation mit Anbietern aus EU-Ausland: Beachten Sie die extraterritoriale Anwendbarkeit des AI Act.