Zusammenfassung

KI kann heute nicht mehr nur Informationen liefern und Fragen beantworten, sondern zunehmend selbst Entscheidungen vorbereiten und Aktionen ausführen. Tags: #Künstliche Intelligenz | #Verantwortung

Im Detail

KI kann heute nicht mehr nur Informationen liefern und Fragen beantworten, sondern zunehmend selbst Entscheidungen vorbereiten und Aktionen ausführen.

Das Model Context Protocol (MCP) macht Banking aktuell zu einem frühen Testfeld für agentische KI unter den Vorgaben des EU AI Acts – und gibt einen Vorgeschmack darauf, mit welchen Fragen sich bald auch andere regulierte Branchen auseinandersetzen müssen.

Von Antworten zu Handlungen – und einer Haftungsfrage

Der Schritt von der Antwort zur Handlung verschiebt die zentrale Frage von „Was kann KI?“ zu „Was darf sie tun? – und damit auch die Frage, wer die Verantwortung trägt, wenn dabei etwas schiefgeht. In regulierten Geschäftsfeldern wie dem Banking ist diese Frage bereits jetzt besonders relevant.

Denn zwischen einer KI, die einen Kontostand abruft, und einer KI, die eigenständig eine Überweisung ausführt, liegt ein grundlegender Unterschied: Im zweiten Fall geht es nicht mehr nur um die Qualität einer Antwort, sondern darum, einer KI tatsächliche Handlungsmöglichkeiten einzuräumen.

MCP: Das Protokoll hinter diesem Wandel

Technische Grundlage dafür ist das Model Context Protocol (MCP), ein offener Standard, über den sich KI-Assistenten mit anderen Systemen verbinden können, um deren Daten auszulesen oder Aktionen darin auszuführen. MCP ist kein Produkt, sondern ein Protokoll, das in beide Richtungen funktioniert.

Konkret bedeutet das bspw., dass eine Bank einen MCP-Server intern betreiben kann, sodass der eigene Assistent unter den eigenen Kontrollmechanismen auf die eigenen Systeme zugreift, ohne dass Daten über die Institution hinausgehen. Alternativ kann sie einen öffentlichen MCP-Server bereitstellen, über den sich der persönliche Assistent der Kund*innen von außen mit dem Konto verbindet.

Die Technologie dahinter ist dieselbe. MCP schafft lediglich die Verbindung zwischen KI und einem anderen System. Welche Aktionen möglich sind, hängt davon ab, welche Berechtigungen dahinterliegen und wer sie kontrolliert. Ob ein Assistent Daten ausliest oder auch Aktionen ausführt, ist daher weniger eine Frage des Protokolls als der dahinterliegenden Infrastruktur.

Lesen und Handeln sind zwei unterschiedliche Aktionen

Der entscheidende Unterschied liegt nicht zwischen KI und Mensch, sondern zwischen Lesen und Handeln. Ein Lesezugriff ermöglicht es einem Agenten, Informationen, etwa einen Kontostand oder eine Liste von Transaktionen, abzurufen. Ein Schreibzugriff geht einen entscheidenden Schritt weiter: Er ermöglicht es, etwas zu verändern, bspw. eine Zahlung auszulösen oder ein Limit zu erhöhen.

Liest ein Agent ausschließlich Daten aus, kann er im Worst Case eine falsche oder unvollständige Antwort ausgeben: ärgerlich, aber in der Regel korrigierbar. Sobald ein Agent jedoch selbst Aktionen ausführen kann, müssen diese Aktionen klar autorisiert und im Nachhinein nachvollziehbar sein. Ein Agent sollte niemals mehr tun können als die Person, die ihm Zugriff gewährt hat.

Zeitgestempelte Protokolle darüber, was angefordert und ausgeführt wurde, helfen dabei, jede Aktion auf die ursprüngliche Berechtigung zurückzuführen.

Entscheidend ist daher nicht allein, wie leistungsfähig ein KI-Modell ist, sondern welche Infrastruktur und Regeln seine Handlungen kontrollieren.

Wo der EU AI Act ins Spiel kommt

Der EU AI Act ordnet KI-Systeme danach ein, welches Schadenspotenzial von ihnen ausgeht. Für Anbieter*innen bedeutet das unter anderem: Sie müssen ab Dezember 2027 dokumentieren, wie sie Risiken bewerten, Aufzeichnungen über die Aktivitäten des Systems führen, sicherstellen, dass Menschen eingreifen können, und nachweisen, dass die Ergebnisse nicht diskriminierend sind.

Für agentische Systeme ist im Rahmen des EU AI Acts zudem eine weitere Regelung relevant: Artikel 50 regelt die Transparenz, wenn Menschen mit KI-Systemen interagieren. Bei agentischer KI wird das besonders interessant, weil Interaktion nicht zwingend als klassischer Chat stattfindet.

KI kann beispielsweise im Hintergrund einen Vorschlag erstellen, ein Formular vorausfüllen oder einen nächsten Schritt initiieren. Damit wird Transparenz nicht nur zu einer rechtlichen, sondern auch zu einer Produkt- und Designfrage: Wann muss für Nutzer*innen erkennbar sein, dass eine KI handelt oder eine Handlung vorbereitet?

Der EU AI Act ist allerdings nur ein Teil des regulatorischen Rahmens. Das Banking ist gerade deswegen ein interessantes Testfeld, da hier bereits umfangreiche Anforderungen an Authentifizierung, Autorisierung, Nachvollziehbarkeit und den Schutz von Kundengeldern bestehen.

Agentische KI muss sich daher nicht in einen regulatorischen Leerraum hineinbewegen, sondern in bestehende Kontrollsysteme integrieren.

Integrierte KI oder eigener Assistent?

Bei der Frage, ob die KI direkt in das eigene Produkt integriert wird oder Kund*innen ihren eigenen Assistenten verbinden können, geht es zum einen um Genauigkeit. Eine integrierte Lösung kann anhand realer Anwendungsfälle getestet, gemessen und kontinuierlich verbessert werden.

Bei einer Verbindung zu einem externen Assistenten kontrolliert das Unternehmen dagegen zwar die Daten, die es zur Verfügung stellt, aber nur begrenzt, wie diese Daten anschließend interpretiert werden.

Zum anderen geht es um die Ausführung von Aktionen. Eine integrierte Lösung ermöglicht es, vor jeder folgenreichen Aktion zusätzliche Prüfungen einzubauen.

Je höher die Konsequenz einer Aktion, desto stärker sollte die Verifizierung ausfallen. Eine einfache Bestätigung kann für risikoarme Aktionen angemessen sein. Bei einer Aktion mit deutlich mehr Auswirkung, bspw. bei einer Überweisung oder der Änderung eines finanziell relevanten Limits können dagegen zusätzliche Authentifizierungsschritte erforderlich sein.

Gerade Unternehmen, die bereits einen Teil ihrer Prozesse über einen allgemeinen KI-Assistenten organisieren, könnten davon profitieren, auch ihre Finanzdaten und -prozesse an einem zentralen Ort verfügbar zu machen.

Gleichzeitig stellt sich bei einer KI, die nicht nur Informationen abruft, sondern selbst Aktionen ausführt, eine zentrale Frage: Wie viel Vertrauen sind Nutzer*innen bereit, einem externen Assistenten für solche Handlungen entgegenzubringen?

Genau hier liegt eine der Herausforderungen für die weitere Entwicklung: Einen Assistenten zu bauen, der Aktionen ausführen kann, ist eine technische Aufgabe. Vertrauen in einen solchen Assistenten aufzubauen, braucht dagegen Zeit – und klare Regeln dafür, was er tun darf, wann eine Bestätigung erforderlich ist und wie seine Handlungen nachvollziehbar bleiben.

Ein Großteil dieser Arbeit liegt noch vor uns.

Über das Banking hinaus

Im Finanzsektor geht Vertrauen selten schleichend verloren. Häufig reicht ein einziger Vorfall. Und der Aufwand, verlorenes Vertrauen wiederherzustellen, steht dabei in keinem Verhältnis zur Größe des ursprünglichen Fehlers. Das bedeutet allerdings nicht, dass maximale Vorsicht die richtige Lösung ist.

Ein System, das mit so vielen Bestätigungsschritten versehen ist, dass niemand es mehr nutzt, ist ebenfalls gescheitert. Compliance und Nutzbarkeit müssen in einem sinnvollen Verhältnis stehen. Banking ist dafür ein besonders frühes Testfeld, weil Fehler hier unmittelbar finanzielle Konsequenzen haben.

Doch dieselben Fragen werden sich bald auch in anderen regulierten Bereichen stellen: bei Versicherungsleistungen, im Gesundheitswesen oder im Recruiting.

Sobald KI nicht mehr nur berät, sondern selbst Entscheidungen vorbereitet oder Aktionen ausführt, müssen Unternehmen definieren, was ein Agent tun darf, wann ein Mensch eingreifen muss und wie sich eine Entscheidung im Nachhinein nachvollziehen lässt.

Die entscheidende Frage lautet deshalb nicht, ob KI künftig handeln wird – das tut sie bereits. Die Frage ist, unter welchen Bedingungen sie handeln darf. Die Zukunft agentischer KI wird deshalb nicht allein von leistungsfähigeren Modellen bestimmt. Sie wird davon abhängen, ob Unternehmen Vertrauen, Kontrolle und Handlungsspielräume genauso konsequent gestalten wie die Technologie selbst.

Tags: #Künstliche Intelligenz | #Verantwortung