09.12.2024

KI-Klassifizierung nach dem AI Act

Im Fokus der KI-Compliance steht neben der Identifizierung von AI Assets insbesondere die Risikoklassifizierung der KI-Systeme, die über den Umfang der zu erfüllenden Anforderungen entscheidet. Da die ersten Regelungen des AI Act bereits im Februar 2025 umgesetzt werden müssen, sollten sich Unternehmen spätestens jetzt mit der Verordnung auseinandersetzen und prüfen, inwieweit sie von den Regelungen betroffen sind.

Unverbindliches Erstgespräch vereinbaren

Autor:in
Ilan Leonard Selz, LL.M. (Minnesota)
Rechtsanwalt, Associated Partner

Inhalt

Warum müssen KI-Systeme nach dem AI Act klassifiziert werden?

Ziel der KI-Verordnung ist insbesondere die Förderung einer menschenzentrierten und vertrauenswürdigen Nutzung von KI in der EU. Zu diesem Zweck werden nach einem risikobasierten Ansatz Compliance-Anforderungen an Anbieter und Betreiber von KI-Systemen gestellt, die umso strenger sind, je höher das Risiko des jeweiligen KI-Systems ist.

Welche Kategorien von KI-Systemen gibt es?

Die entscheidende Weichenstellung für Anbieter und Betreiber von KI-Systemen ist die Zuordnung eines KI-Systems zu einer der im AI Act vorgesehenen Risikoklassen. Hierbei wird unterschieden zwischen den Risikoklassen der verbotenen Praktiken (Art. 5 AI Act), der Hochrisiko-KI-Systeme (Art. 6 AI Act), der KI-Systeme mit beschränktem Risiko (Art. 50 AI Act) und der KI-Systeme mit geringem Risiko (Art. 95 AI Act). Daneben stehen gesondert die KI-Systeme mit allgemeinem Verwendungszweck (Art. 51 ff. AI Act).

Verbotene KI-Systeme

Der AI Act verbietet bestimmte Praktiken im Bereich der KI. Der abschließende Katalog in Art. 5 I AI Act nennt u.a.

potenziell schädigende KI-Systeme zur unterschwelligen Beeinflussung oder absichtlichen Manipulation (Art. 5 Abs. 1 lit. a AI Act),
der Ausnutzung bestimmter Schwächen (Art. 5 Abs. 1 lit. b AI Act),
Social-Scoring-Systeme bei „Schlechterstellung oder Benachteiligung“ von Personen(-gruppen) (Art. 5 Abs. 1 lit. c AI Act)
KI-Systeme zur Analyse individueller Merkmale (Art. 5 Abs. 1 lit. d – g AI Act, zB anlasslose Erstellung von Gesichtserkennungsdatenbanken).

Hochrisiko-KI-Systeme

Wann eine Künstliche Intelligenz mit hohem Risiko vorliegt, ist in Artikel 6 AI Act und in den Anhängen I und III des AI Act geregelt. Danach soll ein KI-System zum einen dann ein hohes Risiko aufweisen, wenn es selbst oder als Sicherheitsbauteil eines anderen Produkts aufgrund bereits bestehender Harmonisierungsvorschriften der EU einer Konformitätsbewertung unterzogen werden muss (sog. „embedded AI“). Vereinfacht ausgedrückt, handelt es sich dabei um bestimmte KI-Anwendungen, die in physischen Produkten verbaut sind.

Zum anderen wird von Hochrisiko-KI ausgegangen, wenn das KI-System in bestimmten Bereichen (z.B. Verwaltung, Personalmanagement oder Strafverfolgung) eingesetzt wird und einem der in Anhang III abschließend aufgeführten konkreten KI-Systeme aus diesen Bereichen entspricht. (sog. „stand-alone AI“).

KI-Systeme mit mittlerem und spezifischem Risiko

KI-Systeme mit mittlerem Risiko sind Systeme, die für die Interaktion mit Menschen bestimmt sind. Die erhöhte Risikoeinstufung ergibt sich daraus, dass der Einsatz dieser KI-Systeme mit einem gewissen Manipulationsrisiko verbunden ist. Zu diesen KI-Systemen gehören insbesondere Chatbots sowie KI mit der Fähigkeit, Medieninhalte oder Deepfakes zu generieren.

Auch KI-Modelle mit allgemeinem Verwendungszweck (GPAI) fallen in eine spezifische Kategorie des mittleren Risikobereichs. Die Einstufung als GPAI ergibt sich aus Art. 51 Act. Im AI Act wird zwischen KI-Modellen und KI-Systemen unterschieden. KI-Modelle sind die technologische Vorstufe zu KI-Systemen und haben keine Nutzerschnittstelle. KI-Modelle mit allgemeinem Verwendungszweck werden mit einer großen Datenmenge unter umfassender Selbstüberwachung trainiert und sind in der Lage ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen.

GPAI-Modelle, die einen besonders hohen Wirkungsgrad aufweisen, werden als KI-Modelle mit systemischem Risiko eingestuft. Der hohe Wirkungsgrad kann sich aus bestimmten technischen Eigenschaften ergeben, die von der Kommission noch festzulegen sind. Zudem wird ein hoher Wirkungsgrad vermutet, wenn die Leistungsfähigkeit, mit der die KI trainiert wurde, 1025 FLOPs übersteigt.

Unverbindliches Erstgespräch zu
KI-Lösungen

Wir stehen Ihnen bei der Lösung der rechtlichen Fragen und Probleme im Zusammenhang mit künstlicher Intelligenz und Robotik zur Seite.
Wir helfen Ihnen dabei, die Haftungsrisiken bei der Anwendung von KI-basierten Systemen zu minimieren.
Wir unterstützen Sie, die rechtlichen Rahmenbedingungen für Ihre Produkte und Dienstleistungen zu schaffen.

Termin vereinbaren

Welche Pflichten bringen die einzelnen Klassifizierungen mit sich?

Der AI Act enthält einen umfangreichen Pflichtenkatalog, der sich in erster Linie an die Anbieter von KI richtet. Der AI Act enthält aber auch Pflichten für Betreiber, Einführer und Händler sowie sonstige Dritte. Innerhalb der Risikoklassen liegt dabei ein besonderer Fokus auf den Hochrisiko-KI-Systemen, da für diese die umfangreichen Compliance-Anforderungen erfüllt werden müssen.

Pflichten für Hochrisiko-KI-Systeme

Die meisten Unternehmen werden KI-Systeme regelmäßig nicht selbst entwickeln, sondern externe KI-Lösungen einkaufen. Insofern werden Unternehmen regelmäßig nicht „Anbieter“ eines KI-Systems nach Art. 3 Nr. 3 AI Act sein, sondern lediglich „Betreiber” nach Art. 3 Nr. 4 AI Act. Damit unterliegen sie einem im Vergleich zu den „Anbietern” nur eingeschränkten Pflichtenkatalog. Insbesondere sind nachfolgende Maßnahmen vorgesehen:

Pflichten für Anbieter von Hochrisiko-KI	Pflichten für Betreiber von Hochrisiko-KI
Schaffung einer grundlegenden KI- Kompetenz im Unternehmen zur Gewährleistung der Konformität mit dem AI Act (Art. 4 AI Act) Einhaltung aller Anforderungen aus (Art. 16 lit. a AI Act i.V.m Art. 8 – 15 AI Act) Einrichten eines Qualitätsmanagementsystems nach (Art. 16 lit. c AI Act i.V.m Art. 17 AI Act) Aufbewahrung der technischen Dokumentation und automatisch erstellte Protokolle, wenn diese der Kontrolle des Anbieters unter- liegen (Art. 16 lit. d, e AI Act i.V.m Art. 18, 19 AI Act) Durchführung eines Konformitätsbewertungsverfahrens samt Erstellung einer Konformitätserklärung (Art. 16 lit. f, g AI Act i.V.m Art. 43, 47 AI Act) Anbringung der CE-Kennzeichnung an das KI-System (Art. 16 lit. h AI Act i.V.m Art. 48 AI Act) Registrierung des Systems in EU- Datenbank (Art. 16 lit. i AI Act i.V.m Art. 49 Abs. 1 AI Act) Nachweiserbringung über Ver- ordnungskonformität nach Kapitel 2 bei begründeter Anfrage einer nationalen Behörde (Art. 16 lit. k AI Act)	Schaffung einer grundlegenden KI- Kompetenz im Unternehmen zur Gewährleistung der Konformität (Art. 4 AI Act) Technische und organisatorische Maßnahmen zur Sicherstellung der bestimmungsgemäßen Verwendung entsprechend der Betriebsanleitung (Art. 26 Abs. 1 AI Act) Menschliche Aufsicht der KI durch natürliche Personen mit der erforderlichen Kompetenz zur Überwachung des Betriebs der KI und Gewährung der erforderlichen Unterstützung (Art. 26 Abs. 2 AI Act) Sorge tragen, dass Eingabedaten der Zweckbestimmung des KI- Systems entsprechen und ausreichend repräsentativ sind (Art. 26 Abs. 4 AI Act) Überwachung des KI-Betriebs anhand der Betriebsanleitung (Art. 26 Abs. 5 AI Act) Aufbewahrung der automatisch erstellten Protokolle, wenn die- se der Kontrolle des Betreibers unterliegen (Art. 26 Abs. 6 AI Act) Verwendung der nach Art. 13 AI Act bereitgestellten Informationen, um ggf. eine Datenschutz- Folgenabschätzung nach Art. 35 DSGVO durchzuführen (Art. 26 Abs. 9 AI Act) Verschiedene Informationspflichten je nach Anwendungsfall der KI (Art. 26 Abs. 5, 7, 11 AI Act, Art. 50 Abs. 4 AI Act)

Pflichten für Anbieter von Hochrisiko-KI

Pflichten für Betreiber von Hochrisiko-KI

Schaffung einer grundlegenden KI- Kompetenz im Unternehmen zur Gewährleistung der Konformität mit dem AI Act (Art. 4 AI Act)
Einhaltung aller Anforderungen aus (Art. 16 lit. a AI Act i.V.m Art. 8 – 15 AI Act)
Einrichten eines Qualitätsmanagementsystems nach (Art. 16 lit. c AI Act i.V.m Art. 17 AI Act)
Aufbewahrung der technischen Dokumentation und automatisch erstellte Protokolle, wenn diese der Kontrolle des Anbieters unter- liegen (Art. 16 lit. d, e AI Act i.V.m Art. 18, 19 AI Act)
Durchführung eines Konformitätsbewertungsverfahrens samt Erstellung einer Konformitätserklärung (Art. 16 lit. f, g AI Act i.V.m Art. 43, 47 AI Act)
Anbringung der CE-Kennzeichnung an das KI-System
(Art. 16 lit. h AI Act i.V.m Art. 48 AI Act)
Registrierung des Systems in EU- Datenbank (Art. 16 lit. i AI Act i.V.m Art. 49 Abs. 1 AI Act)
Nachweiserbringung über Ver- ordnungskonformität nach Kapitel 2 bei begründeter Anfrage einer nationalen Behörde (Art. 16 lit. k AI Act)

Schaffung einer grundlegenden KI- Kompetenz im Unternehmen zur Gewährleistung der Konformität (Art. 4 AI Act)
Technische und organisatorische Maßnahmen zur Sicherstellung der bestimmungsgemäßen Verwendung entsprechend der Betriebsanleitung (Art. 26 Abs. 1 AI Act)
Menschliche Aufsicht der KI durch natürliche Personen mit der erforderlichen Kompetenz zur Überwachung des Betriebs der KI und Gewährung der erforderlichen Unterstützung (Art. 26 Abs. 2 AI Act)
Sorge tragen, dass Eingabedaten der Zweckbestimmung des KI- Systems entsprechen und ausreichend repräsentativ sind (Art. 26 Abs. 4 AI Act)
Überwachung des KI-Betriebs anhand der Betriebsanleitung
(Art. 26 Abs. 5 AI Act)
Aufbewahrung der automatisch erstellten Protokolle, wenn die- se der Kontrolle des Betreibers unterliegen (Art. 26 Abs. 6 AI Act)
Verwendung der nach Art. 13 AI Act bereitgestellten Informationen, um ggf. eine Datenschutz- Folgenabschätzung nach Art. 35 DSGVO durchzuführen (Art. 26 Abs. 9 AI Act)
Verschiedene Informationspflichten je nach Anwendungsfall der KI (Art. 26 Abs. 5, 7, 11 AI Act, Art. 50 Abs. 4 AI Act)

Die Pflichten des Betreibers eines KI-Systems lassen sich dabei im Wesentlichen in drei Kategorien einteilen: Maßnahmen zum typengerechten Gebrauch, Schulungspflichten sowie Dokumentations- und Informationspflichten. Vorsicht ist jedoch geboten, wenn Unternehmen KI-Systeme wesentlich an ihre besonderen Bedürfnisse anpassen. In diesem Falle können Unternehmen ausnahmsweise trotzdem die Pflichten eines „Anbieters“ zu erfüllen haben.

Pflichten für KI-Systeme mit geringeren Risiken

Für KI-Systeme, von denen keine expliziten Risiken ausgehen sieht der AI Act lediglich die Verpflichtung für Anbieter und Betreiber vor, bei ihrem Personal und beauftragten Personen ein ausreichendes Maß an KI-Kompetenz herzustellen. Die Kommission und die Mitgliedstaaten fördern zudem gem. Art. 95 AI Act die Aufstellung von Verhaltenskodizes und Governance-Mechanismen durch Branchenmitglieder, nach denen sich Anbieter und Betreiber von KI richten können.

Welche Herausforderungen gibt es bei der Klassifizierung?

Die Frage, welcher Risikoklasse ein KI-System zugeordnet werden muss, insbesondere ob ein Hochrisiko-KI-System vorliegt, kann in der Praxis eine anspruchsvolle rechtliche Prüfung erfordern. Das liegt daran, dass eine klare Abgrenzung nicht immer eindeutig möglich ist. Damit kann ein gewisses rechtliches Risiko bestehen.

Wie kann SRD Rechtsanwälte bei der Klassifizierung und KI-Compliance unterstützen?

Die Umsetzung der umfangreichen Anforderungen des AI Act kann für Unternehmen eine große Herausforderung darstellen. SRD unterstützt Sie deshalb mit rechtlicher Expertise, viel Projekterfahrung und technische Knowhow bei der erfolgreichen Umsetzung der Verordnung und dem Aufbau einer effizienten AI Governance.

Wir begleiten Sie bei jedem Schritt - von der Identifizierung von AI Assets über die Risikobewertung über die Umsetzung der erforderlichen Maßnahmen bis hin zur kontinuierlichen Überwachung Ihrer KI-Systeme.

Dabei liefern wir maßgeschneiderte Lösungen, gestalten Verträge und entwickeln Prozesse zur Umsetzung der Compliance-Anforderungen. Unser oberstes Ziel ist dabei eine praktikable AI Compliance zu etablieren, indem wir sie mit bestehenden Compliance-Komponenten zum Beispiel aus dem Datenschutz verknüpfen.

Whitepaper zur KI-Verordnung direkt in Ihr Postfach

Lassen Sie sich unser umfangreiches Whitepaper zur KI-Verordnung (AI Act) kostenfrei zuschicken. Sie erhalten darin wertvolle und praxisnahe Informationen zur Umsetzung der KI-Verordnung in Ihrem Unternehmen.

Zum Whitepaper

Inhalt