Menschliche Aufsicht bei KI – Pflicht, Prinzip und Praxis

Rechtlicher Rahmen: Menschliche Aufsicht nach dem AI Act

Arbeitsdefinition: Menschliche Aufsicht bezieht sich auf die Fähigkeit natürlicher Personen, den Betrieb eines Hochrisiko-KI-Systems während dessen gesamter Einsatzdauer wirksam zu überwachen und bei Bedarf einzugreifen.

Die EU-KI-Verordnung (AI Act) klassifiziert bestimmte KI-Anwendungen als „Hochrisiko-Systeme“ (Art. 6 ff. AIA i.V.m. Anhängen I & III) und verpflichtet Anbieter und Betreiber menschlicher Aufsicht über das System während der Entwicklung und des Betriebs des KI-Systems sicherzustellen (Art. 14 AIA).

Ziel ist es, Risiken für Gesundheit, Sicherheit und Grundrechte durch angemessene Kontrollmechanismen zu minimieren. Der Mensch und die Gesellschaft sollen Entscheidungen durch KI-Systeme nicht ohne menschliche Interventionsmöglichkeiten ausgesetzt werden.

Pflichten der Anbieter: KI-Compliance-by-Design

Der AI Act setzt dabei bereits am Anfang des KI-Lebenszyklus an: Anbieter von Hochrisiko-KI-Systemen müssen Systeme daher bereits so konzipieren & entwickeln, dass sie später durch die Betreiber angemessen durch Menschen beaufsichtigt werden können (Art. 14 Abs. 1).

Sie müssen die Durchführung von Aufsichtsmaßnahmen durch die Betreiber ermöglichen, indem sie

• Selbst entsprechende Vorkehrungen in das KI-System einbauen (Art. 14 Abs. 3 lit. a, z. B. Kill-Switch, Logging und konkrete Erklärungen für einzelne Entscheidungen)

und/oder

• Vorkehrungen festlegen, die geeignet sind vom Betreiber umgesetzt zu werden (Art. 14 Abs. 3 lit. b, z. B. Disclaimer an geeigneter Stelle, die Systemlogik und Entscheidungsprinzipien sowie Grenzen und Risiken des Systems beschreiben).

Pflichten der Betreiber

Die Pflicht menschliche Aufsicht umzusetzen, bekommt dann während des Betriebs noch eine besondere Bedeutung: Betreiber von Hochrisiko-KI-Systemen müssen

• eine (ohne mehrere) kompetente Aufsichtsperson(en) & auswählen und durch ausreichende Arbeitszeit und Arbeitsmittel bei der Aufsicht unterstützen (Art. 26 Abs. 2 & 4),
• das KI-System überwachen (Art. 26 Abs. 5), wobei die menschliche Aufsicht ein Schlüsselelement der Überwachung darstellt, und
• im Rahmen einer Grundrechtefolgenabschätzung (GRFA) die Maßnahmen zur menschlichen Aufsicht beschreiben (Art. 27 Abs. 1 lit. e).

Pflichten der Aufsichtsperson

Aufsichtspersonen übernehmen eine zentrale Kontrollfunktion über die Funktionsweise von KI-Systemen. Ihre Aufgaben umfassen unter anderem:

• Überwachung des laufenden Systembetriebs,
• Fähigkeit zur Interpretation von KI-Outputs,
• Erkennen und Bewerten von Automatisierungsverzerrungen (Bias),
• Entscheidung über die Nichtanwendung der KI oder ihrer Ergebnisse,
• Eingreifen im Falle fehlerhafter oder riskanter Systemausgaben.

Sie müssen das System und dessen Grenzen tatsächlich verstehen und aufgrund ausreichender Entscheidungsspielräume in der Lage sein, sich selbst kritisch zu kontrollieren und über die richtigen Absichten im Sinne eines menschenzentrierten KI-Einsatzes verfügen.

Wie weit die Kenntnisse gehen müssen, schreibt die Verordnung nicht vor, es muss aber nach der Logik der Vorschrift eine echte Aufsicht möglich sein. Details und der erforderliche Grad der menschlichen Aufsicht sind derzeit noch umstritten und werden sich in nächster Zeit weiter konkretisieren durch Hinweise durch die Kommission, aus der Aufsichtspraxis und aus der Rechtsprechung.

Wer wird Aufsichtsperson?

Der AI Act gibt keine verbindliche Vorgabe zur organisatorischen Umsetzung der Aufsicht. Betreiber können intern oder extern geeignete Personen benennen, etwa Datenschutzbeauftragte, IT-Sicherheitsverantwortliche, Compliance-Beauftragte, Fachbereichsleiter oder speziell ausgebildete AI-Officer.

Es muss jedoch sichergestellt sein, dass die Aufsichtsperson frei von Interessenkonflikten handelt. Der Datenschutzbeauftragte ist daher regelmäßig nicht als Aufsichtsperson geeignet, da er als Datenschutzbeauftragter seine eigenen ggf. personenbezogenen Entscheidungen überwachen müsste.

Wichtig ist, dass die Aufsichtsperson über die notwendige fachliche Kompetenz verfügt und im Unternehmen in eine klare Ablauforganisation eingebettet ist. Aufsichtspersonen sollten im Rahmen von Fortbildungen für ihre Aufgaben qualifiziert werden.

Achtung: Die Benennung eines sogenannten AI-Officers oder KI-Beauftragten ist nicht gleichzusetzen mit der menschlichen Aufsicht. Letztere bezieht sich auf die Aufsicht über einzelne konkrete KI-Systeme, während der KI-Beauftragte eher eine unternehmensweite Rolle zur Wahrung der KI-Compliance einnimmt.

Umsetzung der menschlichen Aufsicht in der Unternehmenspraxis

Die Umsetzung der Anforderungen an die menschliche Aufsicht ist komplex und muss unternehmensspezifisch erfolgen. Sie umfasst:

• Systemdesign: Das KI-System muss technische Schnittstellen und Steuerungsmöglichkeiten bieten, die menschliche Eingriffe ermöglichen. Dazu zählen Funktionen zur Deaktivierung, Nachvollziehbarkeit des Outputs und Alarmfunktionen bei Abweichungen.  
• Organisatorische Einbettung: Die menschliche Aufsicht muss integraler Bestandteil bestehender Governance-Strukturen werden – z. B. durch klare Rollenverteilung, dokumentierte Prozesse und ein abgestimmtes Melde- und Eskalationssystem.  
• Kompetenzaufbau: Unternehmen müssen die relevanten Akteure gezielt schulen. Schulungsinhalte sollten technologische Grundlagen, rechtliche Vorgaben (einschließlich des Pflichtenkatalogs) und ethische Bewertungsmaßstäbe vermitteln.  
• Audit und Monitoring: Kontinuierliche interne Audits zur Prüfung der Wirksamkeit der Aufsicht sowie Dokumentationspflichten (z. B. nach ISO/IEC 42001) sind notwendig, um langfristige Compliance sicherzustellen.  
• Changemanagement: KI-Systeme entwickeln sich fortlaufend weiter. Daher müssen die Maßnahmen zur Aufsicht regelmäßig überprüft und angepasst werden – insbesondere beim Einsatz neuer Module oder bei geänderten Risikolagen.

Praxisbeispiele: Versäumnisse mit Folgen

1. Datenleck durch fehlerhafte Anonymisierung:

Ein Versicherungsunternehmen setzte ein KI-System zur automatisierten Anonymisierung sensibler Gesundheitsdaten ein. Die KI klassifizierte bestimmte Daten fälschlich als anonymisiert. Über eine schlecht gesicherte Webschnittstelle wurden diese Daten öffentlich zugänglich. Frühwarnmechanismen versagten, und es fehlte an jeglicher menschlicher Kontrolle. Konsequenz: gravierender Verstoß gegen Datenschutz- und Sicherheitsstandards.

2. Diskriminierung bei Betrugserkennung:

Ein KI-System zur automatisierten Analyse von Schadensvideos (u.a. durch biometrische Erkennung) beurteilte Ansprüche auf Basis intransparenter Algorithmen. Es kam zu Vorwürfen diskriminierender Entscheidungen auf Grundlage biometrischer Merkmale. Es existierten keine nachvollziehbaren Prüfmechanismen, keine Audits, keine menschliche Nachkontrolle – mit erheblichen Reputations- und Haftungsrisiken.

3. Strikte Ablehnung bei Kfz-Schäden:

Ein KI-basiertes Bildanalyse-System bewertete Bagatellschäden häufig als nicht erstattungsfähig. Trotz zahlreicher Kundenbeschwerden war keine menschliche Überprüfung vorgesehen. Beschwerden wurden automatisiert abgelehnt, ein Eskalationsprozess war nicht etabliert. Das führte zu Frustration, Vertrauensverlust und möglichen Verstößen gegen Verbraucherschutzvorgaben. Auch wenn es sich hier nicht zwingend um Hochrisiko-KI handelt, zeigt dieses Beispiel gut, dass sich in bestimmten Szenarien eine menschliche Aufsicht auch unabhängig von der KI-Regulierung empfiehlt – etwa zur Vermeidung von Reputationsschäden oder zur Verbesserung der Rückkopplung mit dem Produkt.

Zwischenfazit: Fehlende Aufsicht ist nicht nur ein regulatorisches Risiko – sie kann unmittelbar zu rechtswidrigem Verhalten und Vertrauensverlust führen.

Sanktionen bei Verstößen gegen die menschliche Aufsicht

Verstöße gegen die Anforderungen zur menschlichen Aufsicht können erhebliche finanzielle Sanktionen nach sich ziehen. Der AI Act sieht Bußgelder von bis zu 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes vor – je nachdem, welcher Betrag höher ist. Diese Sanktionen gelten sowohl für Anbieter als auch Betreiber von Hochrisiko-KI-Systemen, wenn sie ihren Pflichten nicht nachkommen. Die konkrete Sanktionierung obliegt dem jeweiligen Mitgliedstaat.

Fazit: Menschliche Aufsicht als zentrales Kontrollinstrument

Die menschliche Aufsicht ist eine essenzielle Komponente der europäischen KI-Regulierung. Sie verbindet technische Systemgestaltung mit organisatorischer Verantwortlichkeit und ethischer Reflexion. Unternehmen müssen frühzeitig Maßnahmen zur effektiven Ausgestaltung treffen – angefangen bei der technischen Systemarchitektur über die Auswahl und Schulung von Aufsichtspersonen bis hin zur kontinuierlichen Überprüfung im laufenden Betrieb.

Die Praxis zeigt: Ohne menschliche Kontrolle ist der Einsatz von KI mit erheblichen Risiken verbunden. Die rechtlichen Vorgaben des AI Act liefern hierfür einen verbindlichen Rahmen – jetzt gilt es, diesen in der Realität umzusetzen.