Black-Box-KI: Wann fehlende Transparenz für Unternehmen zum Rechtsrisiko wird

Was mit „Black Box“ gemeint ist

Von einer Black Box spricht man, wenn Eingaben und Ergebnisse sichtbar sind, der Weg dazwischen aber weitgehend verborgen bleibt. Man sieht also, welche Daten in ein System hineingehen und was am Ende herauskommt, aber nicht zuverlässig, wie genau das Modell zu seinem Ergebnis gelangt.

Ein Modell muss dafür nicht völlig unverständlich sein. Es reicht schon, wenn wesentliche Informationen über seine Funktionsweise fehlen oder kaum noch verständlich sind. Dann bleibt oft unklar, wie das System tatsächlich arbeitet – für Nutzer, für Aufsichtsbehörden und mitunter auch für die Entwickler selbst.

Besonders häufig zeigt sich das bei leistungsstarken und komplexen KI-Systemen. Dahinter stehen meist mehrere Ursachen zugleich: mathematische Komplexität, starke Abhängigkeit von Trainingsdaten, lückenhafte Dokumentation und bewusste Abschottung.

• Komplexe Modellarchitekturen: Tiefe neuronale Netze und andere hochkapazitive Modelle arbeiten mit einer großen Zahl an Parametern, Ebenen und nichtlinearen Transformationen. Mit wachsender Modellgröße wird es zunehmend schwer, sowohl den Inferenzprozess als auch die Trainingsdynamik Schritt für Schritt nachvollziehbar zu machen.
• Abhängigkeit von Trainingsdaten: Das Verhalten eines Modells hängt stark von den Daten ab, mit denen es trainiert wurde. Wenn Zusammensetzung, Lücken oder Verzerrungen dieser Daten nur teilweise bekannt sind, bleibt auch das Ergebnis schwer erklärbar. Schon kleine Veränderungen einzelner Datenquellen oder Merkmale können das Verhalten deutlich verschieben.
• Lücken in der Dokumentation: Häufig fehlt selbst intern eine saubere Beschreibung dazu, welche Daten verwendet wurden, welche Annahmen im Modell stecken und wo seine Grenzen liegen.
• Bewusste Abschottung: Teilweise bleibt ein System auch deshalb undurchsichtig, weil Architektur, Trainingsdaten oder Code als Geschäftsgeheimnis behandelt werden. Das erschwert externe Kontrolle zusätzlich.

Damit verändert die Black Box ganz konkret, wie Verantwortung, Kontrolle und Rechtssicherheit in KI-Projekten organisiert werden können.

Warum Intransparenz ein Governance-Problem ist

Je weniger nachvollziehbar ein KI-System arbeitet, desto schwerer wird es, Ergebnisse zu prüfen, Fehler zu erkennen und Zuständigkeiten zu klären.

Undurchsichtige Systeme können fehlerhafte Ergebnisse liefern und zugleich Risiken verdecken, die erst spät sichtbar werden: Verzerrungen, Datenschutzverstöße, Sicherheitslücken oder problematische Entscheidungen, deren Entstehung niemand mehr sauber erklären kann.

Dazu kommt, dass an KI-gestützten Entscheidungen oft mehrere Akteure beteiligt sind: Datenlieferanten, Modellentwickler, Anbieter, einsetzende Unternehmen und interne Fachabteilungen. Wenn dann ein problematisches Ergebnis entsteht, wird schnell unklar, wer wofür verantwortlich ist. So entstehen Verantwortungslücken, in denen viele beteiligt sind, ohne dass sich die Entscheidung noch klar einer Stelle zuordnen lässt.

Für Unternehmen ist das heikel. Entscheidend ist am Ende nicht, wie komplex ein System war, sondern ob sich sein Einsatz rechtlich sauber einordnen, erklären und kontrollieren lässt.

Wo die DSGVO besonders relevant wird

Die Black Box berührt mehrere Grundprinzipien des Datenschutzrechts gleichzeitig. Besonders wichtig sind vier Punkte: Transparenz, Rechenschaftspflicht, Fairness und Erklärbarkeit in Entscheidungskontexten.

• Transparenz: Wer personenbezogene Daten verarbeitet, muss verständlich erklären können, welche Daten genutzt werden, zu welchem Zweck das geschieht und wie automatisierte Verarbeitung funktioniert. Bei schwer erklärbaren KI-Systemen wird genau das schwierig.
• Rechenschaftspflicht: Unternehmen müssen nachweisen können, dass ihre Verarbeitung rechtmäßig erfolgt. Wenn nicht mehr klar erklärt werden kann, welche Merkmale, Datenquellen oder Modelllogiken ein Ergebnis geprägt haben, wird dieser Nachweis deutlich schwieriger.
• Fairness: Intransparente Modelle erschweren es, verzerrte oder diskriminierende Effekte zu erkennen und zu korrigieren. Wo die Einflussfaktoren im Dunkeln bleiben, wird auch die Sicherung fairer Verarbeitung schwieriger.
• Erklärbarkeit bei Entscheidungen: Art. 22 DSGVO schützt Personen vor Entscheidungen, die ausschließlich automatisiert getroffen werden und rechtliche oder ähnlich erhebliche Wirkungen entfalten. Zugleich verlangen Art. 13 bis 15 DSGVO und Erwägungsgrund 71 aussagekräftige Informationen über die zugrunde liegende Logik sowie über Bedeutung und vorgesehene Folgen der Verarbeitung. Gerade hier stoßen Black-Box-Systeme an ihre Grenzen, wenn selbst Verantwortliche die Modelllogik kaum sinnvoll erklären können.

Die Schwierigkeiten beginnen oft schon früher. Opaque Modelle erschweren informierte Einwilligungen, können Informationspflichten und Auskunftsantworten unvollständig machen und lassen Unternehmen schlechter erkennen, wann sie sich bereits im Bereich automatisierter Entscheidungen mit erheblicher Wirkung bewegen. Die DSGVO verlangt dafür keine technische Totaloffenlegung. Gefordert ist aber ein Maß an Verständlichkeit, das Rechtewahrnehmung und Kontrolle tatsächlich möglich macht.

Warum automatisierte Entscheidungen besonders schwierig sind

Besonders sensibel wird es dort, wo KI nicht nur unterstützt, sondern Entscheidungen mit spürbaren Folgen vorbereitet oder trifft – also in Situationen, in denen es um Leistungen, Zugänge, Chancen oder Belastungen für Einzelne geht.

In solchen Fällen stellt sich die Frage, ob Betroffene eine Entscheidung überhaupt wirksam hinterfragen können. Genau das wird durch Black-Box-Systeme erschwert. Wer nicht weiß, welche Kriterien den Ausschlag gegeben haben, kann Fehler nur schwer benennen und den eigenen Standpunkt nur eingeschränkt geltend machen.

Hinzu kommt ein deutliches Machtgefälle zwischen Betroffenen und Organisationen. Wenn die Entscheidungslogik verborgen bleibt, wächst dieses Ungleichgewicht weiter. In Streitfällen wird oft schon der Nachweis schwierig, dass eine Entscheidung tatsächlich ausschließlich automatisiert getroffen wurde. Genau darin liegt ein weiterer kritischer Punkt: Formale menschliche Beteiligung lässt sich leicht behaupten, auch wenn in der Sache kaum echte Prüfung stattfindet.

Warum menschliche Kontrolle Substanz braucht

Wirksame menschliche Aufsicht setzt voraus, dass die zuständige Person genug versteht, um Auffälligkeiten zu erkennen, genug Befugnis hat, um Ergebnisse zu ändern oder zu verwerfen, und den konkreten Fall so gut kennt, dass eine Prüfung mehr ist als reine Formsache. Dazu kommt die Fähigkeit, sich im Zweifel gegen einen maschinellen Output zu stellen. Gerade bei intransparenten Systemen ist das wichtig, weil sie Automatisierungsbias begünstigen – also die Tendenz, maschinelle Ergebnisse vorschnell für richtig zu halten.

Wo diese Voraussetzungen fehlen, bleibt menschliche Kontrolle dünn. Der Verweis auf einen „Human in the Loop“ hilft dann weder Betroffenen noch dem Unternehmen besonders weiter.

Was der AI Act zusätzlich verlangt

Die DSGVO schaut vor allem auf die Rechte betroffener Personen und auf die Zulässigkeit konkreter Verarbeitungen. Der AI Act setzt stärker bei systemischer Transparenz, Dokumentation und Nachvollziehbarkeit an. Für Black-Box-KI ist dieser Unterschied zentral.

Bei Hochrisiko-KI stehen vor allem folgende Anforderungen im Vordergrund:

• Technische Dokumentation: Anbieter müssen vor dem Inverkehrbringen Unterlagen erstellen, aus denen sich Logik, Architektur, Algorithmen und mögliche diskriminierende Auswirkungen des Systems ergeben.
• Nutzungsanweisungen: Hochrisiko-Systeme müssen so beschrieben werden, dass Betreiber Ergebnisse einordnen, Genauigkeit und Grenzen verstehen und riskante Einsatzkonstellationen erkennen können.
• Protokollierung und Nachvollziehbarkeit: Ereignisse sollen über den Lebenszyklus hinweg dokumentiert werden, damit sich das Verhalten des Systems später nachvollziehen und überwachen lässt.
• Transparenz für Betroffene: Der AI Act gibt bei KI-basierten Entscheidungen in bestimmten Konstellationen der Hochrisiko-KI das Recht auf Erläuterung der individuellen Entscheidungsfindung. Dies umfasst klare und sinnvolle Erklärungen zur Rolle der KI sowie zu den Hauptelementen der Entscheidung.
• Zugang für Aufsichtsbehörden: Marktüberwachungsbehörden können Zugang zu Dokumentation, Trainingsdaten und in eng begrenzten Fällen sogar zum Quellcode erhalten, wenn dies für die Konformitätsprüfung erforderlich ist.

Der AI Act löst die Black Box damit zwar nicht, schafft aber einen Rahmen, in dem sich ihr Einsatz besser prüfen und begrenzen lässt. Wie tragfähig das in der Praxis sein wird, hängt stark davon ab, wie technische Standards die Anforderungen später konkretisieren.

Was Unternehmen jetzt tun sollten

Im Umgang mit Black-Box-KI kommt es vor allem auf vier Dinge an: ein passendes Maß an Erklärbarkeit, belastbare Tests und Validierung, saubere Dokumentation sowie tragfähige organisatorische Sicherungen.

• Erklärbarkeit sollte immer am Einsatzkontext ausgerichtet werden. Je höher das Risiko für Betroffene und je größer die möglichen Auswirkungen, desto höher fallen auch die Anforderungen an Transparenz, Dokumentation und Aufsicht aus.
• Black-Box-Systeme sollten außerdem nur dort eingesetzt werden, wo ihre Undurchsichtigkeit nicht selbst zum zentralen Risiko wird. Methoden wie SHAP, LIME oder kontrafaktische Erklärungen können helfen, einzelne Aspekte sichtbar zu machen. Eine vollständige Lösung des Transparenzproblems liefern sie aber nicht.
• Ebenso wichtig sind systematische Tests, Validierung und Bias-Kontrollen. Modelle sollten nicht nur technisch funktionieren, sondern auch auf Verzerrungen, Fehlleistungen und riskante Effekte geprüft werden. Saubere Dokumentation schafft dabei eine Transparenzspur, die Audits erleichtert, Zuständigkeiten sichtbarer macht und interne Lernprozesse unterstützt.
• Betroffene sollten frühzeitig und umfassend über mögliche Datenverarbeitungen informiert werden, bei denen eine Black-Box-Problematik bestehen kann. Die Informationen sollten insbesondere in angemessenem Maße in den Datenschutzhinweisen erfolgen.
• Schließlich braucht es organisatorische Vorkehrungen, die im Alltag tragen: geschulte Personen, klare Zuständigkeiten, echte Eingriffsmöglichkeiten und ausreichend Ressourcen für Aufsicht und Prüfung.

Erstgespräch kostenlos

In 30 Minuten zu klaren Prioritäten in der KI-Compliance

Erstgespräch vereinbaren

Sie sagen uns, was Sie vorhaben – wir sagen Ihnen klar, was möglich ist.

Philipp Müller-Peltzer
Rechtsanwalt, Partner | Berlin

Was der Blick ins Gesundheitswesen zeigt

Im Gesundheitsbereich wird das Black-Box-Problem besonders deutlich. Zum einen können KI-Systeme im Bereich gesetzlicher Krankenversicherung oder bei Entscheidungen über Gesundheitsleistungen regulatorisch als Hochrisiko-KI relevant werden. In solchen Kontexten hängt an Transparenz nicht nur Compliance, sondern auch Vertrauen in essenzielle Leistungen.

Zum anderen zeigt die medizinische Bildgebung, dass erklärbarere Systeme klinische Entscheidungen durchaus unterstützen können. Verständlichere Outputs helfen dabei, Ergebnisse schneller einzuordnen, Diagnosen besser zu kommunizieren und Patientinnen und Patienten stärker in Entscheidungen einzubeziehen.

Gleichzeitig werden in diesem Feld auch die Grenzen von Explainable AI sichtbar. Einheitliche Maßstäbe für Interpretierbarkeit fehlen, Probleme der Datenqualität und Generalisierbarkeit bleiben bestehen, und auch Fragen der Verantwortung lösen sich dadurch nicht von selbst. Erklärungen können sogar neues Fehlvertrauen schaffen, wenn sie missverstanden oder unkritisch übernommen werden.

Fazit

Die Black-Box-Problematik beim KI-Einsatz stellt Unternehmen vor technische, rechtliche und organisatorische Fragen zugleich. Gerade bei automatisierten Entscheidungen mit erheblicher Wirkung braucht es Systeme, deren Einsatz nachvollziehbar, überprüfbar und begründbar bleibt. Darauf zielen sowohl die DSGVO als auch der AI Act ab, wenn auch mit unterschiedlichen Schwerpunkten und Schutzrichtungen. Am Ende geht es weniger um vollständige Offenlegung als um eine Form von Transparenz, die Rechte, Aufsicht und Verantwortung in der Praxis tatsächlich trägt.