Explainable AI und ihre Vorteile für die Unternehmenspraxis

Laut einer Studie im Auftrag des Bundesministeriums für Wirtschaft und Energie (mittlerweile das Bundesministerium für Wirtschaft und Klimaschutz) werden im Jahr 2025 etwa 13 % des deutschen Bruttoinlandsproduktes durch Dienstleistungen und Produkte, die auf den Einsatz von Künstlicher Intelligenz (KI) zurückgehen, generiert werden. Sicher ist, dass der Einsatz von KI für Unternehmen in Zukunft wettbewerbsentscheidend sein wird. Doch ob jeweilige Use Cases tatsächlich einen Mehrwert generieren und damit einen Markterfolgsfaktor darstellen, hängt von einer Vielzahl von Kriterien ab. Zu diesen zählt unter anderem die Transparenz eines KI-Systems. Denn immer häufiger wird KI in Entscheidungsfindungen einbezogen oder ihre Outputs wirken sich auf andere Weise auf ihre Umwelt aus. In vielen Fällen ist jedoch nicht mehr nachvollziehbar, wie die Systeme zu bestimmten Ergebnissen gekommen sind. Denn die meisten KI-Modelle zeichnen sich dadurch aus, dass sie mit einem bestimmten Grad an Autonomie arbeiten und sich selbstlernend sukzessiv anpassen, ohne, dass Menschen dabei involviert sind. Aus mehreren Gründen ist die Erklärbarkeit von KI jedoch wichtig. Zunächst sollten Entwickler und Nutzer unter technisch-organisatorischen Gesichtspunkten die Transparenz ihrer KI-Systeme gewährleisten. Zudem steigert die Erklärbarkeit von KI die Akzeptanz dafür unter denen, die damit arbeiten oder von ihren Arbeitsergebnissen betroffen sind. Nicht zuletzt sehen unterschiedliche rechtliche Vorgaben die Erklärbarkeit von KI vor, insbesondere aus dem Datenschutzrecht und aus der kommenden europäischen KI-Verordnung (KI-VO). Aus diesem Grund hat sich das Feld der erklärbaren KI (XAI vom engl. Explainable AI) gebildet. Ziel von XAI ist es, KI-basierte Systeme nachvollziehbar und damit auch nutzerfreundlicher zu machen.

Das Problem von intransparenter KI

KI, die auf der Technologie des maschinellen Lernens (Machine Learning) basiert, welche den Großteil der derzeitig boomenden KI-Systeme ausmacht, kann für Unternehmen erhebliche Mehrwerte schaffen. Insbesondere aufgrund ihrer Fähigkeit, große Mengen an Daten schnell und präzise zu analysieren und zu verarbeiten. Dadurch können die Algorithmen in den Datensätzen Muster erkennen und erlernen, selbständig Aufgaben zu erfüllen und Outputs zu generieren. In Ermangelung einer allgemeingültigen Definition lässt sich KI zumindest mit ihren beiden wohl wichtigsten Merkmalen beschreiben: Ein gewisser Grad an Autonomie und die Fähigkeit zur selbstlernenden Anpassung der Arbeitsprozesse.

KI-Systeme sind damit überaus vielfältig verwendbar. In fast allen Bereichen kann die Technologie gewinnbringend eingesetzt werden. Exemplarisch lassen sich etwa die Felder der Versicherungswirtschaft, der Energieversorgung oder des Gesundheitswesens nennen.

Aufgrund der autonomen Arbeitsweise und der sich anpassenden Vorgänge der Systeme sind die Prozesse im Rahmen der Machine Learning KI oftmals nicht mehr nachvollziehbar. Die KI ist dadurch nicht transparent und erklärbar, wodurch es dazu kommen kann, dass schwere Fehler unbemerkt bleiben oder das ganze Modell unbrauchbar ist. Abhängig von den jeweiligen Use Cases können die Konsequenzen davon verheerend sein. Etwa wenn KI in die Entscheidung über die Bewilligung von Leistungen oder den Abschluss von Verträgen eingebunden ist, kann es zu unbemerkter, ungerechtfertigter Ungleichbehandlung kommen. Im medizinischen Bereich könnten versteckte Fehlfunktionen von KI noch ernstere Konsequenzen haben, beispielsweise wenn ein System für die Krebsdiagnose eingesetzt wird.

Die Blackbox-Problematik

Ein KI-System, dessen Arbeitsprozesse bzw. -ergebnisse nicht nachvollziehbar sind, kann als Blackbox betrachtet werden. Eine solche liegt vor, wenn ein KI-System so komplex ist, dass die einzelnen Schritte, die zur Entscheidungsfindung führen, im späteren Produktivbetrieb der KI grundsätzlich nicht mehr ersichtlich sind. Im Falle von Machine Learning liegt dies zumeist daran, dass die KI auf künstlichen neuronalen Netzen basieren, die gewissermaßen die Vernetzungen von Neuronen in einem menschlichen Gehirn imitieren. In den künstlichen neuronalen Netzen werden dabei tausende, oft Millionen, von nicht-linearen Beziehungen auf mehreren Ebenen zwischen Eingaben und Ausgaben gebildet. Entscheidungsfindungsprozesse sind dann nicht mehr zu erklären, etwa, weil nicht einmal ersichtlich ist, welcher Teil des Netzes für einen bestimmten Output zuständig ist. Die KI erzeugt also ein Arbeitsergebnis, der Weg dahin ist jedoch für einen Menschen nicht zu verstehen.

Diskriminierungsrisiken

Eine Art der nicht nachvollziehbaren, ‘fehlerhaften‘ KI-Entscheidungen, sind solche, die diskriminierende Outputs erzeugen. KI kann im Rahmen der Entscheidungsfindung äußerst sinnvoll und effizienzsteigernd eingesetzt werden. Im Wesentlichen basiert die Entscheidung, die eine KI dabei erzeugt, jedoch auf den Daten, mit denen das System trainiert wurde. Es kann also als ein Spiegelbild seiner Entwicklungsumgebung gesehen werden. Dabei ist es möglich, dass das System bei der Entscheidungsfindung Zusammenhänge zugrunde legt, die zu einer Ungleichbehandlung auf Basis von nichtzulässigen Kriterien führen, daher zu Diskriminierung. Ein vergleichsweise einfaches Beispiel wäre etwa die Benachteiligung von Menschen aus gewissen Stadtteilen durch einen Algorithmus bei der Bewerbung auf Arbeitsplätze. Leben in dem Stadtteil vorrangig Menschen mit einer bestimmten Herkunft, würde die nachteilige, KI-gestützte Entscheidung über die Stellenvergabe mit der Ethnie der Bewerber:innen koinzidieren. Es käme also zu einer Diskriminierung aufgrund der Herkunft, die nicht intendiert gewesen sein muss. Im Gegenteil, viele Unternehmen setzen bei der Entscheidungsfindung gerade deshalb auf KI, weil sie sich durch das Entfernen menschlicher Faktoren neutrale, nicht-diskriminierende Ergebnisse erhoffen. Aufgrund der Komplexität und Intransparenz von KI-Arbeitsprozessen kann es jedoch aus einer Vielzahl von Gründen zu Benachteiligung durch KI kommen, die für Entscheider:innen in vielen Fällen weder ersichtlich noch nachvollziehbar ist.

Automation Bias

Das Risiko, das von fehlerhaften, intransparenten KI-Outputs ausgeht, wird durch den sogenannten Automation Bias verstärkt. Der Begriff beschreibt das Phänomen, dass Menschen häufig ein übersteigertes Vertrauen in die Funktion und Zuverlässigkeit von KI haben. Oftmals fußt dieses darauf, dass die Systeme in vielen Fällen funktionieren und sich eine Nachlässigkeit bei den Nutzern einstellt. Teilweise ist dieses Vertrauen jedoch unberechtigt, wenn die Funktionsweise einer KI nicht mehr nachvollzogen werden kann und Fehler und deren Ursachen in den Ergebnissen deshalb unentdeckt bleiben.

Explainable AI als Antwort auf intransparente KI

Als Reaktion auf die Probleme, die intransparente KI mit sich bringt, hat sich das Feld der Explainable AI entwickelt. XAI zielt darauf ab, die Funktionsweise und die Ergebnisse von KI nachvollziehbar und erklärbar zu machen. Während die Bezeichnung „XAI“ erst in den letzten Jahren geprägt wurde, ist das Konzept wesentlich älter. Nahezu seitdem es maschinelles Lernen gibt, sind Entwickler:innen darum bemüht, die KI erklärbar zu machen. Insbesondere seit den 90er Jahren wird interdisziplinär in dem Bereich geforscht und gearbeitet. Bis heute hat sich jedoch keine einheitliche Methodik gefunden, mit der KI transparenter gemacht werden kann. Vielmehr existieren verschiedene Ansätze, die sich mit der Erklärbarkeit von KI beschäftigen. Grundlegend lässt sich unterscheiden, zwischen KI, die intrinsisch erklärbar ist und solcher, die durch XAI nachträglich erklärt wird.

Bei ersterer handelt es sich meist um einfache Ansätze des maschinellen Lernens, wie Entscheidungsbäume oder Bayes-Klassifikatoren. Ihre Funktionsweise zeichnet sich bereits dadurch aus, dass die Systeme von sich aus nachvollziehbar und erklärbar sind. Etwa tritt die Blackbox-Problematik im Rahmen ihrer Entwicklung und Verwendung gar nicht erst auf. In einigen Bereichen kann die Verwendung derartiger Methoden eine gute Wahl darstellen und muss keinen Präzisionsverlust bedeuten. Für viele Unternehmen stellen solche vergleichsweise einfachen KI-Systemen daher oft genau die richtige Lösung dar.

Anders verhält es sich jedoch bei dem gegenwärtig extrem populären und leistungsfähigeren Deep Learning. Diese Methode des maschinellen Lernens basiert auf den oben besprochenen neuronalen Netzen. Nachteil ist dabei, dass die Entscheidungen von Menschen nicht mehr nachvollzogen werden können. Hier setzen XAI-Verfahren an, welche die KI-Systeme nachgelagert erklärbar machen sollen. Üblicherweise handelt es sich dabei um Methoden, die in Ergänzung zu einem bestehenden KI-System eingesetzt werden. Unterschieden wird diesbezüglich zwischen globaler und lokaler Erklärbarkeit. Globale Erklärbarkeit soll zeigen, wie ein bestimmtes System als Ganzes funktioniert, sodass es von Menschen vollständig verstanden werden kann. Lokale Erklärbarkeit meint, dass bei einem bestimmten Use Case und in Bezug auf die jeweiligen Eingabedaten, nachvollziehbar gemacht wird, wie eine KI zu einer konkreten Entscheidung gekommen ist. Eine Vielzahl von unterschiedlichen Methoden wird genutzt, um die beiden Arten der Erklärbarkeit zu gewährleisten. In der Wahl der jeweiligen Methode sollte berücksichtigt werden, welchen Zweck die Erklärung erfüllen soll, an wen sie gerichtet ist und welche regulatorischen Anforderungen einzuhalten sind.

Ein beispielhafter Ansatz für XAI ist die Nutzung von sogenannten Stellvertretermodellen, auch genannt Whitebox. Zunächst wird dafür ein neuronales Netz als Blackbox trainiert. Anschließend wird das Stellvertretermodell als Nachbildung dessen erzeugt. Es soll die Funktionsweise des Blackbox-Modells nachempfinden, ist dabei aber einfacher ausgebaut, etwa als einfacher Entscheidungsbaum. Im Wesentlichen stimmen die Ergebnisse der beiden Modelle überein, da die Whitebox eine vereinfachte Nachstellung ist, ihre Outputs sind jedoch nachvollziehbar. Aufgrund der tatsächlichen Unterschiede in den Funktionsweisen kann es aber nichtsdestotrotz zu abweichenden Arbeitsergebnissen kommen.

Gründe für Unternehmen auf XAI zu setzen

Unternehmen sollten aus einer Vielzahl von Gründen XAI Methoden einführen. Etwa wird damit bezweckt, das Vertrauen in KI zu erhöhen und die Auditierbarkeit der Systeme zu gewährleisten. Außerdem werden die rechtlichen Einsatzmöglichkeiten einer KI durch ihre Erklärbarkeit wesentlich erhöht, bzw. ist es in vielen Fällen rechtlich erforderlich, dass die Funktionsweise und die Ergebnisse einer KI erklärbar sind. Zudem erlaubt die Erklärbarkeit von KI Rückschlüsse auf ihr Verhalten und kann damit das Verständnis für die verarbeiteten Aufgaben verbessern. Im Folgenden werden wesentliche technisch-organisatorische sowie rechtliche Gründe erörtert, aus denen Unternehmen auf XAI setzen sollten.

Ein Blick auf die Praxis – so kann KI erklärt werden

Wie aufgezeigt kann die Verwendung von XAI-Methoden unabdingbar für die Unternehmenspraxis sein. Für die Art und Weise, wie die Arbeitsweise und die Ergebnisse von KI kommuniziert werden, also das Ergebnis der KI-Erklärung, gibt es verschiedene Möglichkeiten. Bei der Auswahl zwischen diesen sollte vor allem darauf abgestellt werden, wem gegenüber die Erklärung erfolgen soll. Zudem muss etwa berücksichtigt werden, in Umsetzung welcher rechtlicher Vorgaben gehandelt wird. Denn vor allem auch in Hinblick auf die Adressaten unterscheiden sich DSGVO und KI-VO. Während erstere die Erklärung gegenüber den Betroffenen bezweckt, soll die KI-VO in erster Linie eine Informationspflicht für Anbieter gegenüber Nutzern einführen.

Im Falle der DSGVO ist eine Darstellung des gesamten Algorithmus und der Funktionsweise hinter einem Ergebnis grundsätzlich nicht erforderlich. Schließlich ist vor allem auch wichtig, dass die Erklärung für den Betroffenen verständlich ist. Vielmehr bietet sich etwa eine visuelle Darstellung an, beispielsweise in Form von Entscheidungsbäumen, Piktogrammen oder Ablaufdiagrammen. So können die verschiedenen Parameter in der Entscheidungsfindung transparent und verständlich gemacht werden. Dabei lassen sich die Informationen jedoch abstrakt genug darstellen, dass keine Geschäftsgeheimnisse preisgegeben werden. Ergänzen lässt sich die visuelle Darstellung durch schriftliche Kommentare, repräsentative Beispiele und Beschreibungen, um die Verständlichkeit zu erhöhen.

Der Entwurf zur KI-VO verfolgt hingegen einen anderen Ansatz, da vor allem Nutzer in die Lage versetzt werden sollen, ein KI-System entsprechend seiner Zweckbestimmung zu nutzen und Fehler, Verzerrungen oder Diskriminierungen erkennen zu können. Es geht daher eher um eine technische Erklärung, die sich nach den Anforderungen an die Gebrauchsanweisung aus Art. 13 KI-VO-E richtet. Doch seit dem letzten Entwurf des EU-Parlaments sieht auch der KI-VO-E eine Informationspflicht gegenüber Betroffenen vor. Diese ähnelt eher der Informationspflicht aus der DSGVO. In der Umsetzung der Vorgaben werden sich deshalb Synergieeffekte aufzeigen, die es unbedingt zu nutzen gilt.

Das könnte Sie auch interessieren:

• AI & Data Regulation: datengetriebene Use Cases und KI-Projekte mithilfe von MLOps strategisch planen und umsetzen
• Aktuelles zur KI-VO: Logbuch zur geplanten Verordnung
• EU-Datenregulierung für Unternehmen: Ein umfassender Überblick
• ChatGPT und seine Regulierung nach der KI-VO

Auch darüber hinaus bietet sich bei der Erklärung von KI eine gemeinsame Behandlung der unterschiedlichen rechtlichen Informationspflichten an. Denn so lässt sich die Informationserteilung, etwa in der Datenschutzerklärung und der KI-Gebrauchsanweisung, widerspruchsfrei gewährleisten. Zudem lassen sich durch die Nutzung von Synergien im Gegensatz zu getrennten Bearbeitung Ressourcen einsparen. Die Informationen, die im Rahmen der Gebrauchsanweisung bereitgestellt werden müssen, können dabei als Ausgangspunkt und zur Erfüllung der Informationspflichten aus der DSGVO dienen.