KI im Personalwesen: Chancen, Risiken und KI-Verordnung

Einsatzgebiete von KI in HR

Im HR-Bereich steht für KI-Anwendungen eine ganze Bandbreite von Einsatzmöglichkeiten zu Verfügung - von der Recruiting-Phase bis hin zum Offboarding. Vor allem in der Bewerberauswahl werden KI-Systeme bislang maßgeblich eingesetzt - besonders hervorzuheben sind die folgenden Einsatzgebiete:

• CV-Analyse: KI-Systeme können dazu eingesetzt werden, Lebensläufe, Anschreiben und weitere Bewerbungsunterlagen zu analysieren und in diesem Rahmen Bewerbungen, die nicht den vorher festgelegten Kriterien / Anforderungen entsprechen, aussortieren. Gleichzeitig können den "erfolgreichen" Bewerbungen, abhängig von der Anzahl der erfüllten Kriterien ein Score-Wert zugeteilt werden. Die KI-basierte CV-Analyse ermöglicht eine schnelle und effiziente Auswahl der geeigneten Bewerber. Im Idealfall erfolgt die Auswahl zudem frei von Diskriminierungen, Vorurteilen oder anderen subjektiven Bias.
• Skill-Assessment: In diesem Fall erfolgt eine Leistungsanalyse durch das KI-System, das in Echtzeit die Fähigkeiten der Bewerber mittels Fragen, Tests und / oder Simulationen bewertet und mit den Mitbewerbern vergleicht.
• Online-Interviews: KI-Anwendungen können den Recruitern auch unmittelbar bei den (online) Bewerbungsgesprächen behilflich sein. Durch Videoanalysen wird eine automatisierte Auswertung von Sprache, Mimik und Gestik zur Beurteilung relevanter Persönlichkeitsmerkmale ermöglicht.

Daneben können KI-Systeme auch zur Verwaltung der Beschäftigten sowie zur Leistungsbewertung eingesetzt werden. Die KI kann dabei etwa große Datenmengen schnell und effizient analysieren und auf diese Weise Arbeitsabläufe optimieren und Mitarbeiterleistungen anhand objektiver Kriterien bewerten.

Auch die vor allem aus dem Kundensupport bekannten Chatbots können zu HR-Zwecken sowohl für externe als auch interne Angelegenheiten eingesetzt werden. Im internen Einsatz kann ein Chatbot den Beschäftigten etwa bei häufigen Fragen helfen, z. B., indem es den Beschäftigten den Krankmeldeprozess erläutert. Des Weiteren kann ein Chatbot auch extern zu HR-Zwecken eingesetzt werden, indem bspw. Interessenten mit dem Chatbot kommunizieren und der Chatbot den Bewerbungsprozess erklärt.

Darüber hinaus kann der Chatbot auch als eine Vorstufe zum eigentlichen Bewerbungsprozess eingesetzt werden, indem dieser den Interessenten einen Auswahltest (o. ä.) übermittelt und anhand des Ergebnisses über den weiteren Verlauf der Bewerbung entschieden wird.

Technische Herausforderungen bei Auswahl und Einsatz von KI-Systemen

Der Einsatz von KI im HR-Bereich ist jedoch nicht unproblematisch. Sowohl Vorgaben aus der KI-VO als auch der DSGVO müssen zwingend beachtet werden. Losgelöst von den beiden Gesetzen stellen sich die ersten Herausforderungen jedoch schon bei der Auswahl der KI-Anwendung und der Frage, ob eine eigene KI-Lösung entwickelt oder ein KI-System eines externen Anbieters eingekauft werden soll. Eine mustergültige Antwort auf diese Frage gibt es nicht. Vielmehr hängt dies von den konkreten Bedürfnissen des Unternehmens ab.

Bei der Entwicklung einer eigenen KI-Anwendung ist zuvörderst die Qualität der Daten zu beachten. Denn getreu nach dem Motto "garbage in - garbage out" sind KI-Systeme nur so gut, wie die Daten, mit denen die KI trainiert wurde. So kann z. B. bei einem KI-basiertes CV-Analyse-Tool, welches mit Daten von erfolgreichen Bewerbungen trainiert wurde, dass unterbewusste bzw. sogar bewusste Bias übernehmen, die nunmehr auch Auswirkung auf die Entscheidungsfindung der KI haben.

Hier gilt es folglich, auf die Qualität der Daten zu achten und für das Training nur solche Daten zu verwenden, die frei von Vorurteilen, Bias oder anderen Verzerrungen, die Einfluss die Funktionsweise und Entscheidungsfindung der KI haben könnten.

Bei einer externen KI-Lösung kann hingegen die sog. Blackbox-Problematik auftreten. Damit ist gemeint, dass man nicht genau nachvollziehen kann, wie und mit welchen Daten die KI antrainiert wurde, wie die Funktionsweise ist und auf welchen Grundlagen die Entscheidungsfindung erfolgt. Auch lässt sich in der Regel erst nachträglich und damit sehr spät feststellen, ob ein Bias besteht und die Funktionsweise und der Entscheidungsprozess fehlerbehaftet sind. Um diesem Risiko präventiv entgegenzuwirken, sollten vom Anbieter Informationen zum Training, der Funktionsweise und dem Entscheidungsprozess angefordert werden.

Unabhängig davon, ob eine eigene Lösung entwickelt oder eine externe Lösung eingekauft wird, stellen sich in beiden Fällen Herausforderungen beim Einsatz nach der KI-VO und der DSGVO.

Herausforderungen & Lösungsansätze nach der KI-VO

Die zentrale rechtliche Herausforderung beim Einsatz von KI im Personalbereich liegt in der Frage, ob eine bestimmte Anwendung als sogenanntes Hochrisiko-KI-System im Sinne der KI-Verordnung der EU (KI-VO) einzustufen ist. Diese Einstufung hat erhebliche rechtliche Konsequenzen, denn sie zieht ein umfassendes System an Pflichten nach sich, z. B. im Hinblick auf Dokumentation, Data Governance oder Risikomanagement.

Hochrisiko-KI im HR-Bereich nach der KI-VO

Nach Artikel 6 Absatz 2 in Verbindung mit Anhang III Nummer 4 der KI-VO gelten insbesondere solche KI-Systeme als Hochrisiko-KI, die im Kontext von Beschäftigung, Arbeitsverhältnis und damit verbundenen Entscheidungen eingesetzt werden. Der HR-Bereich steht damit besonders im Fokus der Regulierung. Doch die Einstufung erfolgt nicht pauschal, sondern hängt entscheidend von mehreren Faktoren ab, die im Folgenden differenziert und im Detail analysiert werden.

1. Maßgeblich ist der bestimmungsgemäße Zweck der Anwendung

Zentral für die Einordnung eines KI-Systems als Hochrisiko ist nach der KI-VO dessen bestimmungsgemäße Verwendung. Art. 6 Abs. 2 KI-VO verweist auf Anhang III, der spezifische Anwendungsbereiche benennt. Für den Personalbereich ist insbesondere Anhang III Nr. 4 einschlägig. Dort werden KI-Systeme als Hochrisiko eingestuft, wenn sie zur „Bewertung oder Einstufung von Personen im Rahmen von Arbeitsverhältnissen“ eingesetzt werden – etwa um über deren Einstellung, Beförderung, Aufgabenzuweisung oder Kündigung zu entscheiden oder ihr Verhalten und ihre Leistung zu überwachen.

Maßgeblich ist also nicht, wie das System faktisch verwendet wird, sondern wie es konzipiert, dokumentiert und nach außen beschrieben ist – also welche Funktion es nach seinem Zweck erfüllt. Auch Systeme, die keine abschließenden Entscheidungen treffen, sondern lediglich vorbereitende Bewertungen vornehmen, können erfasst sein, wenn sie auf personelle Maßnahmen hinwirken oder Entscheidungsgrundlagen liefern.

Beispielsweise gilt eine KI, die Bewerbungen nach festgelegten Kriterien analysiert und automatisch Score-Werte vergibt, bereits dann als Hochrisiko-System, wenn diese Bewertungen systematisch Eingang in Auswahlentscheidungen finden – selbst dann, wenn die finale Entscheidung formell bei einem Menschen liegt. Der Zweckbegriff in der KI-VO ist damit weit zu verstehen und deckt faktisch viele gängige Anwendungen im Recruiting und Personalmanagement ab.

Die Auslegung des Zweckes sollte in der Praxis sorgfältig dokumentiert werden – insbesondere bei Systemen, deren Einsatzfeld mehrere Zielrichtungen erlaubt. Eine unklare Zweckbeschreibung kann nicht nur zu einer fehlerhaften Risikoeinstufung führen, sondern später auch haftungsrechtlich relevant werden.

2. Einflussgrad der KI auf die Entscheidung

Neben dem abstrakten Verwendungszweck spielt auch die Frage eine Rolle, wie stark die KI das Ergebnis eines HR-Prozesses tatsächlich beeinflusst. Die KI-VO unterscheidet nicht ausdrücklich zwischen beratenden und entscheidenden Systemen – doch die Praxis zeigt: Je größer der Einfluss der KI auf die Entscheidung, desto wahrscheinlicher ist eine Hochrisikoeinstufung.

Ein System, das Bewerbungen automatisch ablehnt, weil ein bestimmter Schwellenwert nicht erreicht wurde, liegt klar im Hochrisikobereich. Dasselbe gilt, wenn die KI automatisiert eine Rangliste erstellt und nur die „Top 5“ zum Vorstellungsgespräch eingeladen werden – ohne weitere menschliche Prüfung. In diesen Fällen übernimmt die KI die faktische Entscheidungsmacht – auch wenn die juristische Entscheidung dem Unternehmen verbleibt.

Dagegen kann der Einsatz von KI als unterstützendes Werkzeug, etwa zur Vorstrukturierung großer Mengen von Bewerberdaten oder zur Visualisierung von Kompetenzprofilen, unter bestimmten Voraussetzungen außerhalb des Hochrisikobereichs liegen. Eine solche Einschätzung setzt jedoch zwingend voraus, dass die endgültige Bewertung durch qualifizierte, geschulte Personen erfolgt, die die Ergebnisse der KI kritisch hinterfragen und gegebenenfalls korrigieren können.

Die Verordnung verlangt an mehreren Stellen – etwa in Art. 26 Abs. 2 – eine menschliche Aufsicht, insbesondere bei Hochrisiko-KI. In der Praxis ist daher ein „human-in-the-loop“-Modell sinnvoll, nicht nur zur Risikominimierung, sondern auch, um im Zweifelsfall nachweisen zu können, dass die finale Entscheidung nicht automatisiert getroffen wurde. Wichtig ist allerdings: Die menschliche Kontrolle muss substanziell sein, nicht bloß formell. Das bloße Abnicken eines Vorschlags durch eine Person ohne echte Prüfung genügt nicht.

3. Rolle der verarbeiteten Daten bei der Risikobewertung

Die KI-VO selbst ordnet die Hochrisiko-Klassifikation nicht direkt an die Art der Daten, sondern an den Einsatzzweck an. Ein System, das mit sensiblen Daten arbeitet, ist nicht automatisch ein Hochrisiko-System – entscheidend ist, wofür das System eingesetzt wird. Das ergibt sich eindeutig aus dem Wortlaut des Art. 6 Abs. 2 i.V.m. Anhang III, der rein zweckorientiert formuliert ist.

Das heißt: Auch eine KI, die besonders sensible Daten verarbeitet, fällt nur dann unter die Hochrisiko-Vorgaben, wenn sie im Kontext von Auswahl-, Bewertungs- oder Überwachungsprozessen eingesetzt wird. Ein Einsatz zu rein unterstützenden oder internen Zwecken – etwa zur Verbesserung der HR-Datenqualität – kann unterhalb dieser Schwelle bleiben.

Gleichwohl kann die Art der Daten mittelbar von Bedeutung sein – z. B. bei der Bewertung des Diskriminierungsrisikos im Rahmen des verpflichtenden Risikomanagementsystems nach Art. 9 oder bei der Durchführung einer Datenschutz-Folgenabschätzung nach Art. 35 DSGVO.

4. Integration in größere Systeme – funktionale Gesamtbetrachtung

Die KI-VO verfolgt einen systemischen Ansatz: Es kommt nicht nur auf die Einzelanwendung an, sondern auf die funktionale Rolle des Systems im Gesamtprozess. Daher ist es nicht ausreichend, einzelne Module isoliert zu betrachten. Vielmehr ist zu prüfen, ob das KI-System im Verbund mit anderen Anwendungen eine personalrelevante Entscheidung vorbereitet oder ermöglicht.

Typisch sind hier modulare HR-Plattformen, die verschiedene KI-Komponenten kombinieren – etwa:

• ein Tool zur CV-Analyse,
• ein Modul zur Sprach- oder Gestenanalyse im Interview,
• ein Scoring-System zur Bewertung von Fähigkeiten,
• sowie eine nachgelagerte Matching-Komponente, die eine Vorauswahl vornimmt.

Wenn diese Einheiten zusammenwirken, um eine Auswahlentscheidung herbeizuführen, muss das Gesamtsystem als Hochrisiko-KI eingestuft werden, selbst wenn die einzelnen Module für sich genommen jeweils nicht entscheidungserheblich sind.

Die entscheidende Frage ist also: Welche Funktion nimmt das System im Gesamtprozess ein? Führt es in Kombination mit anderen Modulen zu einer Bewertung, die direkt oder mittelbar eine Personalentscheidung beeinflusst? Wenn ja, liegt eine Hochrisiko-KI im Sinne der KI-VO vor.

Für die Praxis folgt daraus: Bereits bei der Systemarchitektur ist zu klären, ob durch die Kombination mehrerer (vielleicht unkritischer) Komponenten eine regulatorisch relevante Wirkung entsteht. Eine entsprechende Dokumentation – etwa im Rahmen der Risikoanalyse – ist dringend zu empfehlen.

Rollenverteilung nach der KI-VO: Anbieter oder Betreiber – wer trägt welche Verantwortung?

Neben der Frage, ob eine bestimmte KI-Anwendung im HR-Bereich als Hochrisiko-System einzustufen ist, ist ein weiterer zentraler Aspekt die Bestimmung der jeweiligen Rolle des Unternehmens im Sinne der KI-VO. Denn je nachdem, ob ein Unternehmen als „Anbieter“ (Art. 3 Nr. 2 KI-VO) oder „Betreiber“ (Art. 3 Nr. 4 KI-VO) eines KI-Systems gilt, gelten unterschiedliche rechtliche Anforderungen und Pflichten. Während die Anbieter umfangreiche Compliance-Anforderungen aus den Art. 8ff. KI-VO erfüllen müssen, treffen die Betreiber deutlich weniger Pflichten.

Gerade im Personalbereich, in dem externe Tools häufig eingekauft, angepasst oder mit eigenen Daten trainiert werden, ist die Rollenzuordnung nicht immer eindeutig. Eine saubere Abgrenzung ist jedoch notwendig, um Haftungsrisiken zu vermeiden und regulatorischen Pflichten korrekt zuzuordnen.

Anbieter nach Art. 3 Nr. 2 KI-VO

Nach Art. 3 Nr. 2 KI-VO ist Anbieter jede natürliche oder juristische Person, die ein KI-System entwickelt oder unter eigenem Namen oder Marke in Verkehr bringt oder in Betrieb nimmt – unabhängig davon, ob sie die Technologie selbst programmiert oder nur maßgeblich modifiziert hat.

Ein Unternehmen wird also insbesondere dann als Anbieter eingestuft, wenn es:

• ein eigenes KI-System entwickelt oder aufsetzt,
• ein bestehendes System stark verändert (z. B. durch Re-Training, tiefgreifende Anpassung der Modelle, maßgebliche Neuentwicklung von Funktionen),
• oder ein bereits bestehendes System unter eigenem Namen oder Branding vertreibt oder bereitstellt.

Im HR-Kontext betrifft dies z. B. Unternehmen, die:

• interne KI-basierte Tools zur Bewerberbewertung entwickeln,
• Drittsoftware tief in eigene Prozesse integrieren und umfangreich anpassen,
• oder KI-basierte Module für HR-Zwecke als (interne) Dienstleistung an verbundene Unternehmen weitergeben.

Betreiber nach Art. 3 Nr. 4 KI-VO

Unternehmen, die ein extern entwickeltes KI-System im eigenen HR-Bereich einsetzen, sind regelmäßig Betreiber im Sinne von Art. 3 Nr. 4 KI-VO. Der Betreiber nutzt das System „bestimmungsgemäß“ im eigenen Verantwortungsbereich, ohne es selbst entwickelt oder in Verkehr gebracht zu haben.

Typischerweise sind Unternehmen also Betreiber, wenn sie:

• eine KI-Lösung zur Bewerberauswahl eines Drittanbieters einsetzen,
• das Tool in bestehende HR-Prozesse integrieren, ohne es grundlegend zu verändern,
• oder lediglich Konfigurationsmöglichkeiten im Rahmen der normalen Produktnutzung ausschöpfen.

Rollenwechsel

Wichtig ist jedoch ein potenzieller Rollenwechsel: Nach Art. 25 KI-VO wird ein Betreiber dann rechtlich wie ein Anbieter behandelt, wenn er das KI-System wesentlich verändert.

Dies kann insbesondere der Fall sein bei:

• eigenem Re-Training des Modells mit unternehmensspezifischen HR-Daten,
• Ergänzung um neue Entscheidungskomponenten oder Merkmale,
• Änderung des beabsichtigten Verwendungszwecks (z. B. Ausweitung von Bewerber-Scoring auf interne Beförderungen).

In diesen Fällen „verlässt“ das System gewissermaßen seine ursprüngliche Anbieter-Konformität – die Verantwortung für alle damit verbundenen Anforderungen geht (auch) auf den Betreiber über. Das kann in der Praxis bedeuten, dass ein Unternehmen, das ein vortrainiertes KI-System ankauft, es aber im Rahmen von HR-Prozessen nachtrainiert und um neue Eingabekriterien erweitert, plötzlich die Pflichten eines Anbieters erfüllen muss.

In der Praxis empfiehlt sich:

• Bei Standard-Softwareeinsatz: saubere Dokumentation der Betreiberrolle, insbesondere zur bestimmungsgemäßen Verwendung.
• Bei tiefer Integration oder Anpassung: rechtliche Prüfung, ob bereits eine Anbieterrolle entsteht – ggf. durch Einbindung von Fachexpertise.
• Bei internen Entwicklungen: vollständige Umsetzung der Anbieterpflichten bereits vor Inbetriebnahme des Systems.

Diskriminierende Entscheidungen der KI-Anwendung

Das bereits mehrfach erwähnte Risiko von diskriminierenden oder einem Bias unterliegenden Entscheidungen der KI-Anwendung kann zu einer Haftung nach dem Allgemeinen Gleichbehandlungsgesetz (AGG) führen. Nach § 7 Abs. 1 AGG sind Benachteiligungen der Beschäftigten (erfasst werden auch Bewerber) aus Gründen der Rasse oder wegen der ethnischen Herkunft, des Geschlechts, der Religion oder Weltanschauung, einer Behinderung, des Alters oder der sexuellen Identität untersagt und können zu einem Schadensersatzanspruch gegenüber dem Arbeitgeber nach § 15 AGG führen.

Benachteiligt also ein KI-System - bspw., weil im Rahmen der Entwicklung Daten verwendet wurden, die einen Bias enthalten - eine Bewerberin aufgrund ihres Geschlechts können ihr Schadensersatzansprüche zustehen. Verschärft wird die Situation für die Unternehmen dadurch, dass nach § 22 AGG eine Beweislastumkehr zulasten der Arbeitgeber eintritt. Es obliegt dann den Arbeitgebern nachzuweisen, dass eine Benachteiligung durch das KI-System nicht stattgefunden hat, was im Einzelfall äußerst schwer sein kann.

Die AGG-Problematik verdeutlicht, dass insbesondere im HR-Wesen ein faires, benachteiligungs- und diskriminierungsfreies KI-System von essenzieller Bedeutung ist.

So kann SRD Sie beim KI-Einsatz im Personalwesen unterstützen

Wir können Sie beim gesamten Lifecycle der KI begleiten. Schon bei der Auswahl der für Sie richtigen KI-Lösungen beraten wir Sie kompetent und unterstützen Sie bei der Entscheidungsfindung, ob für Ihren Use Case ein vortrainiertes Model oder ein eigens antrainiertes und speziell auf die Besonderheiten in Ihrem Unternehmen zugeschnittenes KI-System die richtige Wahl ist.

Unsere Expert:innen stehen Ihnen rechtlich zur Seite und beraten Sie zu den Herausforderungen nach der KI-VO und der DSGVO. In diesem Zusammenhang entwerfen wir Richtlinien für die Beschäftigten, für Implementierung der KI-Anwendung sowie zur Missbrauchskontrolle.