Qualitätsfaktoren und die Grenzen von «Explainable AI»

Je mehr geschäftskritische Aufgaben künstliche Intelligenz übernimmt, desto drängender wird die Frage: Wie sehr können Unternehmen den Ergebnissen ihrer KI-Systeme vertrauen? Und wie vertrauenswürdig kann es sein, wenn eine KI selbst erklärt, warum sie diese und nicht eine andere Entscheidung getroffen hat? Wie kommen wir zur sogenannten Explainable AI (XAI)?

Erklärungen helfen – ersetzen aber keine Prüfung

XAI verspricht, die Blackbox der Algorithmen zu öffnen. Mit Methoden wie LIME oder SHAP lassen sich die Einflüsse einzelner Faktoren sichtbar machen. Das klingt nach Transparenz – ist aber auch selbst nur wieder eine statistische Annäherung. Diese Verfahren liefern also keine absolute Wahrheit über die innere Logik des Modells. Sie erzeugen Erklärungen zweiter Ordnung: Das Modell beschreibt im Grunde sein eigenes Verhalten.

Für Anwenderinnen und Anwender kann das hilfreich sein, weil dies Entscheidungswege greifbarer macht und Distanz abbaut. Für die Qualitätsprüfung reicht es jedoch nicht aus. Im Kontext von KI bildet die Qualität der «Pipeline» die Basis dafür, ob Menschen dem KI-Output vertrauen können – oder eben nicht.

Wo Vertrauen wirklich beginnt

Vertrauen entsteht nicht durch Transparenz allein, sondern im Zusammenspiel mehrerer Faktoren. Wiederholbar korrekte Resultate in realen Szenarien sind unabdingbar (Praxisnähe). Unabhängige Audits, Benchmarks und externe Tests schaffen objektive Vergleichsgrössen (Evidenz). Der grösste Hebel bleibt aber: Menschen im Unternehmen müssen die letzte Verantwortung tragen – nicht die Maschine. Rollen, Prozesse und Haftungsfragen müssen klar definiert sein.

Qualität ist mehr als Genauigkeit

Die Qualität eines KI-Ergebnisses bemisst sich nicht nur daran, wie oft es korrekt ist. Entscheidend ist, wie es zustande kommt. Der gesamte Prozess – vom Input bis zur Verarbeitung der Daten – entscheidet über die Qualität des Outputs:

• Datenqualität: Verzerrte, unvollständige oder falsche Daten führen zwangsläufig zu fragwürdigen Resultaten.

• Modellqualität: Validierungen, Belastungstests und Schutzmechanismen gegen Manipulation sind unerlässlich.

• Kontext: Ein Modell, das im Onlinehandel erfolgreich Kaufempfehlungen ausspielt, ist nicht automatisch für die Finanzwelt oder das Gesundheitswesen geeignet.

• Governance: Klare Standards, Audits und Verantwortlichkeiten sind die Grundlage, damit Unternehmen regulatorischen Anforderungen gerecht werden – und das Vertrauen ihrer Kundschaft behalten.

Fazit

Explainable AI ist ein wichtiges Werkzeug, um Vertrauen in KI aufzubauen. Sie kann Entscheidungsprozesse greifbarer machen und Anwenderinnen und Anwendern das Gefühl geben, die Maschine besser zu verstehen. Doch CIOs sollten sich nicht täuschen lassen: Erklärungen sind nützlich, aber keine Garantie. Wirkliches Vertrauen entsteht erst dann, wenn Qualität, Governance und klare Verantwortlichkeiten zusammenkommen.

Und auch dann bleibt eine Grenze: Generative KI liefert selten echte Aha-Momente, keine plötzlichen Geistesblitze, keine radikal neuen Ideen. Ihre Stärke liegt darin, Mittelwerte zu bilden, Muster zu erkennen und bereits Gesagtes oder Geschriebenes neu zu kombinieren. Für echte Innovation braucht es weiterhin den menschlichen Funken – KI kann ihn bestenfalls unterstützen, aber nicht ersetzen.

Schreiben Sie uns, wenn Sie anderer Meinung sind: Wir forschen aktuell genau an dieser Frage!