KI und Datenschutz: So nutzen Sie KI-Systeme DSGVO-konform

Was ist Künstliche Intelligenz (KI)?

KI wird in Unternehmen bereits jetzt auf vielfältige Weise eingesetzt, um die Effizienz zu steigern, Zeit zu sparen und Kosten zu senken. So werden KI-Systeme im Bereich des Kundenservice, der Content-Produktion z.B. beim Einsatz von Chat-Bots wie ChatGPT, der Buchhaltung und im HR-Bereich im Bewerbungsprozess eingesetzt.

Künstliche Intelligenz ist aus dem Unternehmensalltag nicht mehr wegzudenken. Aber was steckt eigentlich hinter dem Begriff? Der am 1. August 2024 in Kraft getretene AI Act enthält in Art. 3 Abs. 1 die erste rechtliche Definition von Künstlicher Intelligenz. Demnach muss ein KI-System folgende sieben Merkmale aufweisen:

1. Maschinengestütztes System
2. Autonomer Betrieb (in unterschiedlichem Grade)
3. Potenzielle Anpassungsfähigkeit
4. Explizite oder implizite Ziele
5. Fähigkeit der Ableitung (Inferenz)
6. Ausgaben
7. Beeinflussung der physischen oder virtuellen Umgebung

Zusammengefasst sind KI-Systeme also autonome, adaptive Systeme mit der Fähigkeit zur Schlussfolgerung. Die Definition ist sehr breit angelegt und wird im Detail kontrovers diskutiert. Einfache herkömmliche Software soll nach Erwägungsgrund 12 nicht umfasst sein, dies lässt sich aus der offiziellen Definition des AI Act jedoch nicht eindeutig ableiten. Die Definition wurde in der (rechtlich nicht bindenden) Leitlinie "Commission Guidelines on the definition of an artificial intelligence system" durch die Kommission präzisiert, um die konkrete Abgrenzung von KI-Technologie und Nicht-KI-Technologie zu erleichtern.

Welche Rolle spielt Datenschutz bei der Nutzung von KI?

Die Leistungsfähigkeit von KI-Systemen hängt wesentlich von der Qualität der zugrundeliegenden Daten ab. Neben qualitativ hochwertigen Daten ist auch eine ausreichende Datenmenge erforderlich, um zuverlässige Ergebnisse zu erzielen. Diese Daten enthalten häufig personenbezogene Informationen, die durch die strengen Bestimmungen der Datenschutz-Grundverordnung geschützt sind. Beim Einsatz von KI-Systemen können daher an verschiedenen Stellen personenbezogene Daten verarbeitet werden. Das macht den Datenschutz zu einem zentralen Aspekt des KI-Einsatzes.

Jede Verarbeitung personenbezogener Daten – sei es bei der Erhebung von Trainingsdaten, dem KI-Training oder im Produktivbetrieb bei der Datenverarbeitung durch Ein- und Ausgabe – muss auf einer datenschutzrechtlichen Rechtsgrundlage (z.B. Einwilligung, Vertrag, berechtigte Interessen) gestützt werden.  

Neben dem in Art. 5 DSGVO festgehaltenen Grundsatz der Rechtmäßigkeit sind auch andere Datenschutzgrundsätze von hoher Relevanz. Dazu zählen insbesondere das Transparenzgebot, die Zweckbindung, die Anforderungen an die Richtigkeit der Daten sowie die Datenminimierung.

Welche Gesetze sind bei Nutzung von KI einschlägig?

Der Einsatz von KI kann in den Anwendungsbereich verschiedener Gesetze fallen. Neben dem AI Act stehen dabei z.B. die Rechtsgebiete des Datenschutzes und des Urheberrechts im Vordergrund.

Der AI Act ist anwendbar, wenn KI-Systeme oder KI-Modelle mit allgemeinem Verwendungszweck (GPAI) – z.B. Large Language Models (LLM) – in der EU angeboten werden, oder wenn KI-Systeme in Betrieb genommen oder verwendet werden. Der AI Act ist neben anderen einschlägigen Gesetzen anwendbar und verdrängt diese grundsätzlich nicht.

Im Bereich des Datenschutzes sind die DSGVO und das BDSG anwendbar, wenn personenbezogene Daten zum KI-Training oder im Produktivbetrieb der KI verarbeitet werden.
Ebenso findet das UrhG Anwendung, wenn urheberrechtlich geschützte Werke zum KI-Training verwendet werden oder das KI-System als urheberrechtliches Werk monetarisiert werden soll.

In der Gesundheitsbranche sind zusätzlich die Medical Device Regulation (MDR) und der European Health and Data Space (EHDS) zu beachten. KI kann als Software für medizinische Zwecke von der MDR erfasst sein und somit zu deren Anwendbarkeit führen.

Wird KI für im Bereich der Werbung verwendet muss zudem das UWG beachtet werden.

Die geplante KI-Haftungsrichtlinie, die das nationale Haftungsrecht um KI-spezifisches Deliktsrecht erweitert hätte, wird von der Kommission nicht weiterverfolgt.

Was ist der AI Act?

Mit dem AI Act hat die EU den weltweit ersten umfassenden Rechtsrahmen für Künstliche Intelligenz (KI) geschaffen. Der AI Act ist eine technikspezifische und produktsicherheitsrechtlich verfasste Regulierung für KI. Der AI Act wurde am 12. Juli 2024 im Amtsblatt der EU veröffentlicht und trat am 1. August 2024 in Kraft. Für die Anwendung des AI Act gelten gestaffelte Übergangsfristen, wobei die ersten Regelungen seit dem am 2. Februar 2025 anwendbar sind.

Ziel der KI-Verordnung ist es, das Vertrauen in KI zu stärken, die Entwicklung von Innovation zu fördern und zu gewährleisten, dass die Sicherheit und die Grundrechte der EU-Bürger:innen bei der Nutzung von KI gewahrt bleiben.

Der AI Act verfolgt einen risikobasierten Ansatz, um eine uferlose Regulierung zu verhindern. Zu diesem Zweck werden Compliance-Pflichten an KI-Systeme gestellt, die umso strenger sind, je stärker die potenziellen Grundrechtseingriffe sind. Im Zentrum des AI Act stehen dabei die sog. Hochrisiko-KI-Systeme.

Welche Pflichten Unternehmen treffen, die KI-Tools einsetzen, bestimmt sich u.a. danach, ob sie Anbieter oder Betreiber nach dem AI Act sind. Anbieter sind diejenigen, die ein KI-System entwickeln oder entwickeln lassen und es anschließend in Verkehr bringen oder in Betrieb nehmen. Dasselbe gilt, wenn sie GPAI entwickeln oder entwickeln lassen und in Verkehr bringen.

Betreiber sind diejenigen, die ein KI-System in eigener Verantwortung verwenden. Die Anbieter von KI-Systemen müssen einen deutlich umfangreicheren Pflichtenkatalog als die Betreiber erfüllen, sodass die genaue Bestimmung der Rolle des Unternehmens unerlässlich ist. Unter den besonderen Voraussetzungen des Art. 25 AI Act können Betreiber zudem in eine Anbieterrolle fallen.

Wie findet die DSGVO Anwendung auf KI?

Rechtsgrundlage und Zweckbindung

Der EU-Gesetzgeber hat in Erwägungsgrund 63 des AI Act ausdrücklich klargestellt, dass der AI Act selbst keine Rechtsgrundlage für die Verarbeitung personenbezogener Daten darstellt, es sei denn, der AI Act sieht ausdrücklich etwas anderes vor. Die Verarbeitung personenbezogener Daten muss daher auf Art. 6 oder Art. 9 DSGVO gestützt werden.

Eine Möglichkeit der zulässigen Datenverarbeitung ist die vorherige informierte Einwilligung der Betroffenen nach Art. 6 Abs. 1 lit. a DSGVO. Unternehmen, die personenbezogene Daten für das KI-Training verarbeiten wollen, müssen danach entsprechende Einwilligungen der Betroffenen einholen. Eine Herausforderung besteht darin, dass die Einwilligungen von den Betroffenen jederzeit widerrufen werden können, sodass die personenbezogenen Daten vom Verantwortlichen zu löschen sind.

Soweit personenbezogene Daten nach der Verarbeitung im neuronalen Netz verbleiben, ist eine gezielte Löschung jedoch i.d.R. technisch nicht umsetzbar. Auch die Einholung von Einwilligungen kann Unternehmen vor Probleme stellen. Werden Daten z.B. mittels Web-Scraping erhoben oder greift die KI im Produktivbetrieb auf das Internet zu, ist die Einholung einer Einwilligung mangels Kontaktmöglichkeit praktisch nicht umsetzbar.

In der Praxis greifen daher viele Unternehmen auf die Rechtsgrundlage des berechtigten Interesses nach Art. 6 Abs. 1 lit. f DSGVO zurück. Danach ist eine Verarbeitung zulässig, wenn sie zur Wahrung der berechtigten Interessen des Verantwortlichen oder eines Dritten erforderlich ist und die Interessen oder Grundrechte und Grundfreiheiten der betroffenen Person nicht überwiegen.

Der Begriff des berechtigten Interesses wird weit verstanden, sodass auch Effizienzsteigerungen oder Kosteneinsparungen sowie die Optimierung eigener Angebote durch KI-Systeme einschließlich deren Weiterentwicklung berücksichtigt werden. Die Rechtsgrundlage des berechtigten Interesses stößt jedoch an ihre Grenzen, wenn Daten von Minderjährigen oder sensible Daten - wie z.B. Gesundheitsdaten - verarbeitet werden sollen.

Wenn im Unternehmen bereits vorhandene Daten für das Training von KI genutzt werden sollen, ist der Grundsatz der Zweckbindung zu beachten. Dieser besagt, dass die Zwecke der Datenverarbeitung bereits bei der Erhebung personenbezogener Daten festgelegt, eindeutig und legitim sein müssen. Die meisten in Unternehmen vorhandenen "Bestandsdaten" wurden nicht zum Zweck des KI-Trainings erhoben, so dass personenbezogene Daten nicht ohne Weiteres für das KI-Training verwendet werden dürfen, da dies eine Zweckänderung darstellen würde.

Eine Zweckänderung ist nur zulässig, wenn der neue Verarbeitungszweck mit dem ursprünglichen vereinbar ist. Dabei sind unter anderem der Kontext, in dem die personenbezogenen Daten erhoben wurden, die Art der personenbezogenen Daten oder auch die möglichen Folgen der beabsichtigten Weiterverarbeitung für die betroffenen Personen zu berücksichtigen. Die Betroffenen müssen zudem über die Zweckänderung informiert werden.

Datenminimierung & Transparenz

Für das Training von KI werden große Datenmengen (Big Data) benötigt. Der Grundsatz der Datenminimierung besagt jedoch, dass personenbezogene Daten dem Zweck angemessen und erheblich sowie auf das für die Zwecke der Verarbeitung notwendige Maß beschränkt sein müssen. Der Grundsatz der Datenminimierung zielt jedoch nicht darauf ab, die Menge der zu verarbeitenden personenbezogenen Daten so gering wie möglich zu halten.

Vielmehr soll die Schwere des Grundrechtseingriffs in Abhängigkeit vom verfolgten Zweck auf die tatsächlich erforderlichen Daten beschränkt werden, sofern es keine andere zumutbare Möglichkeit gibt, den verfolgten Zweck mit geringerer Eingriffsintensität zu erreichen. Um dieses Spannungsverhältnis aufzulösen, sollten für das KI-Training vorrangig Daten ohne Personenbezug, wie z.B. synthetisierte oder anonymisierte Daten, verwendet werden.

Alternativ können auch datenschutzfreundliche Trainingsverfahren wie „Federated Learning“ eingesetzt werden. Insgesamt muss je nach Anwendungszweck sichergestellt werden, dass das KI-Modell nur so viele personenbezogene Daten enthält und reproduzieren kann, wie für das Training minimal erforderlich sind.

Der Grundsatz der Transparenz besagt, dass personenbezogene Daten „in einer für die betroffene Person nachvollziehbaren Weise" verarbeitet werden müssen. Der Transparenzgrundsatz soll sicherstellen, dass die Betroffenen ihre Rechte wahrnehmen können. Dieser Grundsatz spiegelt sich in den Informationspflichten und Auskunftsrechten der Art. 13 - 15 DSGVO wider. Nur mit ausreichenden Informationen können Betroffene fundierte Entscheidungen über die Verarbeitung ihrer personenbezogenen Daten treffen.

Dies scheint auf den ersten Blick nicht mit hochkomplexen Modellen künstlicher Intelligenz vereinbar zu sein. Denn Deep-Learning-Systeme lernen autonom und werden mit fortschreitendem Lernprozess für die Verantwortlichen zunehmend intransparent bzw. nicht mehr (vollständig) nachvollziehbar. Man spricht von einer „Black Box“. Diese Intransparenz führt dazu, dass Auskunfts- und Informationspflichten nicht mehr "in nachvollziehbarer Weise" erfüllt werden können. Der Grundsatz der Transparenz muss daher bereits bei der Entwicklung von KI berücksichtigt werden.

Ziel der Entwicklung sollte es sein, "Explainable AI" zu schaffen. KI-Systeme müssen darstellen können, wie sie zu ihrem Ergebnis gekommen sind. Nur so können die Gründe für eine KI-Entscheidung explizit beschrieben und den Betroffenen nachvollziehbar vermittelt werden.

Richtigkeit & Datenqualität

Gem. Art. 5 Abs. 1 lit. d DSGVO müssen personenbezogene Daten sachlich richtig und erforderlichenfalls auf dem neuesten Stand sein. Dafür muss eine umfängliche Qualitätsprüfung der verwendeten Trainingsdatensätze erfolgen. Auch der AI Act sieht in Art. 10 Abs. 3 vergleichbare Qualitätsanforderungen an Trainings-, Validierungs- und Testdatensätze vor. Eine hohe Datenqualität führt zu besseren KI-Ergebnissen – denn KI-Systeme sind nur so „intelligent“, wie die jeweiligen Trainingsdaten es erlauben.

Vertraulichkeit

Bei der Verarbeitung personenbezogener Daten muss deren Vertraulichkeit stets gewährleistet werden. Wird ein KI-System kontinuierlich mit interaktions- und nutzerspezifischen Rohdaten weitertrainiert, die im laufenden Betrieb anfallen, muss sichergestellt werden, dass diese Daten möglichst nur auf lokaler Ebene verarbeitet und nach dem Training gelöscht werden. Falls dies nicht möglich ist, muss die Vertraulichkeit durch eine Ende-zu-Ende-Verschlüsselung sichergestellt werden. Serverseitig dürfen die Daten nur von autorisierten Personen weiterverarbeitet werden.

Welche Datenschutz-Maßnahmen müssen bei Nutzung von KI getroffen werden?

Investition in AI Literacy: Ermöglichen sie durch Schulungen, Leitfäden und Gesprächen die Sensibilisierung von Mitarbeitenden und Stakeholdern in KI-Ethik und -Governance.

• Investition in AI Literacy: Ermöglichen sie durch Schulungen, Leitfäden und Gesprächen die Sensibilisierung von Mitarbeitenden und Stakeholdern in KI-Ethik und -Governance.
• Datenqualität und -integrität: Sorgen Sie dafür, dass die gesammelten Daten korrekt und aktuell sind. Überprüfen und aktualisieren Sie die Daten regelmäßig, um die Qualität und Integrität sicherzustellen.
• Datenzugriffs- und Sicherheitskontrollen: Beschränken Sie den Datenzugriff auf Mitarbeitende, die diese für ihre Arbeit benötigen. Implementieren Sie robuste Sicherheitsmaßnahmen, wie Verschlüsselung, Firewalls und regelmäßige Sicherheitsupdates, um Daten vor unbefugtem Zugriff und Cyberangriffen zu schützen.
• Datenschutzfolgenabschätzung (DSFA) & Risikobewertung: Bei besonders risikoreichen Verarbeitungen führen Sie eine DSFA durch, um die Auswirkungen auf den Datenschutz zu bewerten und geeignete Maßnahmen zu ergreifen. Führen Sie regelmäßige Risikobewertungen durch, um potenzielle Datenschutzrisiken zu identifizieren und zu minimieren.

Wie können wir Sie bei der datenschutzkonformen Nutzung von KI unterstützen?

Schürmann Rosenthal Dreyer ist eine auf Technologierecht spezialisierte Rechtsanwaltskanzlei. Wir entwickeln für Ihr Unternehmen eine umfassende KI-Compliance-Strategie inkl. Datenschutz.