Chatbots und KI-Agenten auf Websites: Was der AI Act verlangt
Checkliste für Chatbots und KI-Agenten: Hinweis ab der ersten Interaktion, menschliche Eskalation, Daten, Protokollierung, Tests und Betriebsgrenzen.
EU AI ACT · DIALOGSCHNITTSTELLEN
Die Transparenz eines Chatbots lässt sich nicht mit einer im Footer versteckten Rechtstextseite lösen. Menschen müssen von Beginn an verstehen, dass sie mit einem KI-System sprechen, was es kann und wann ein Mensch übernehmen sollte.
Zuerst die direkte Interaktion bestimmen
Artikel 50 Absatz 1 betrifft KI-Systeme, die direkt mit Menschen interagieren. Die Kommission nennt vier kumulative Kriterien: KI-System, echter zweiseitiger Austausch, direkte Kommunikation ohne menschlichen Vermittler und Interaktion mit einer natürlichen Person. Reine Maschine-zu-Maschine-Prozesse und Hintergrundfunktionen fallen nicht unter diese Hinweispflicht. [EU-REG] [EU-A50] [EU-A50-G]
Ein Formular mit Datenerfassung und fester Antwort wird nicht durch eine Chatblase zum Chatbot. Umgekehrt kann ein „Assistent“, der kontextbezogen antwortet, Rückfragen stellt und Aktionen ausführt, die Kriterien erfüllen. Entscheidend ist das Verhalten, nicht der Produktname. [EU-A50]
Der Hinweis erfolgt zu Beginn, nicht danach
Menschen sind klar, unterscheidbar und barrierefrei ab Beginn der ersten Interaktion zu informieren, außer für eine durchschnittlich informierte und aufmerksame Person ist die KI-Interaktion offensichtlich. Nach Auffassung der Kommission ist diese Ausnahme eng auszulegen. [EU-A50] [EU-A50-G]
Eine hilfreiche Formulierung nennt direkt „KI-Assistent“ und erklärt kurz den Zweck: Produktfragen beantworten, Informationen finden oder eine Anfrage vorbereiten. Avatar, menschlicher Name und „online“-Anzeige sollten nicht absichtlich eine Person vortäuschen. Ein Detail-Link ergänzt den Ersthinweis, ersetzt ihn aber nicht. [EU-A50] [EU-A50-G]
Antwort, Empfehlung und Aktion trennen
Ein informativer Chatbot mit Wissensdatenbank hat ein anderes Profil als ein Agent, der Konten ändert, Bestellungen auslöst oder in WordPress veröffentlicht. Für jede Funktion sind Quellen, Berechtigungen, Fehlerfolgen, Bestätigung und Rückabwicklung zu dokumentieren. Autonomie bleibt auf verständlich autorisierte Handlungen begrenzt. [EU-REG] [EU-NAV]
Aktionen mit finanziellen, rechtlichen oder schwer rückgängig zu machenden Folgen sollten eine ausdrückliche Bestätigung und Zusammenfassung vor Ausführung verlangen. Mehrdeutige Sätze dürfen keine Befehle werden. Inhalte bleiben im Entwurf; Änderung, Ziel und handelnde Identität werden klar angezeigt. [EU-LIT] [EU-REG]
Menschliche Eskalation ist Teil des Produkts
Stoppbedingungen sind festzulegen: keine verlässliche Quelle, sensible Daten, bestrittene Antwort, Notfall, Anfrage außerhalb des Mandats oder wiederholter Fehler. „Mit einem Menschen sprechen“ muss leicht auffindbar sein und den nötigen Kontext übertragen, ohne alles erneut abzufragen. [EU-LIT] [EU-A50]
Eskalation allein beweist keine Compliance, reduziert aber Betriebsrisiko und falsches Vertrauen. Mitarbeitende müssen wissen, was das System sagte, welche Quellen es nutzte und welche Aktionen es versuchte; sonst erhalten sie nur ein langes Protokoll und ein bereits vergrößertes Problem. [EU-A50] [EU-REG]
Daten und Protokolle brauchen Grenzen
Benötigte Informationen sind zu benennen; Nutzer sollten keine Passwörter, Zahlungs-, Gesundheits- oder andere sensible Daten in ungeeignete Kanäle eingeben. Der EU AI Act ersetzt die DSGVO nicht. Rechtsgrundlage, Minimierung, Zugriff, Aufbewahrung und beteiligte Anbieter sind getrennt zu prüfen. [EU-REG]
Protokolle werden nur für festgelegte Zwecke wie Sicherheit, Fehleranalyse, Freigabenachweis oder kontrollierte Verbesserung aufbewahrt. Zugriff und Löschfrist sind festzulegen. Artikel 50 schreibt nicht jedem Chatbot universelle Protokollierung vor; sie darf keine unbegrenzte Datensammlung rechtfertigen. [EU-A50] [EU-REG]
Gespräche statt Einzelantworten testen
Tests umfassen normale, mehrdeutige, feindliche und sachfremde Fragen, Sprachwechsel, Datenanforderungen, Umgehungsversuche, Werkzeugfehler, Bestätigung und Abbruch. Gemessen werden richtige Antwort, richtige Ablehnung, Quelle, Eskalation und ausgeführte Wirkung statt nur natürlicher Sprache. [EU-LIT] [EU-A50-G]
Bei CanUHelp APP ist ein möglicher Assistent für lokale Dienste als hypothetisches Szenario mit sichtbarem Hinweis, klaren Grenzen und Supportübergabe zu behandeln. Ein WordPress-Agent hält Änderungen vorsorglich im Entwurf und verlangt Freigabe. Dies sind Produktmuster, keine Aussagen über Live-Funktionen. [EU-A50] [EU-LIT]