Kurze Antwort
Ein Audit-Trail für KI-Agenten hält fest, wer den Agenten ausgelöst hat, welche Informationen er genutzt, welche Werkzeuge er aufgerufen und wer das Ergebnis freigegeben hat. Mit passenden Aufbewahrungsfristen und Schutz personenbezogener Daten in den Protokollen lässt sich jede Aktion nachvollziehen und gegenüber Prüfern belegen.
Inhalt
Nachvollziehbarkeit entscheidet über Akzeptanz
Irgendwann fragt jemand: Warum hat der Agent das getan? Vielleicht die interne Revision bei einer Zahlung, der Wirtschaftsprüfer im Rahmen der Abschlussprüfung, eine Kundin, die eine Antwort beanstandet, oder der Datenschutzbeauftragte bei einem Auskunftsersuchen. Lautet die ehrliche Antwort "Wir sehen die versendete E-Mail, aber nicht, worauf der Agent sich gestützt hat", verliert der Agent sein Vertrauen, und mit ihm das Projekt.
Klassische Anwendungsprotokolle erfassen Anfragen und Fehler. Für Agenten braucht es mehr: die Kette aus Kontext, Zwischenschritten, Werkzeugaufrufen und menschlichen Freigaben, die zu einem Ergebnis geführt hat.
Was ein Protokolleintrag enthalten sollte
Für jeden Durchlauf eines Agenten entsteht ein strukturierter Datensatz:
- Auslöser: Anfrage einer Person, Zeitplan, eingehende E-Mail oder Systemereignis, mit Identität über SSO.
- Agentenversion: Konfiguration, Anweisungen, Modell und Werkzeugsatz. Ohne Versionierung lässt sich früheres Verhalten nicht erklären.
- Eingaben und Kontext: Verweise auf genutzte Dokumente, Datensätze und Nachrichten, möglichst als Versions-ID statt als Kopie.
- Werkzeugaufrufe: jede Aktion mit Parametern, Zielsystem, Ergebnis und Zeitstempel, getrennt nach Lese- und Schreibzugriffen.
- Entscheidungen: Klassifizierung oder Auswahl des Agenten, Konfidenzsignale und die Regel, die eine Eskalation ausgelöst hat.
- Menschliche Beteiligung: wer geprüft, freigegeben, geändert oder abgelehnt hat und was geändert wurde.
- Ergebnis: Endzustand im Zielsystem, etwa in SAP oder im DMS, sowie Folgeaufgaben.
Eine gemeinsame Vorgangs-ID verbindet alle Einträge, auch wenn mehrere Agenten und Menschen an einem Geschäftsvorfall beteiligt sind.
Datensparsam protokollieren
Mehr ist nicht automatisch besser. Vollständige Prompts und Antworten enthalten oft personenbezogene Daten, Geschäftsgeheimnisse oder versehentlich kopierte Zugangsdaten. Unbegrenzt gespeichert, entsteht ein neues Datenschutzproblem. Unsere Grundsätze:
- Verweise statt Inhalte, wenn das Quellsystem den Inhalt ohnehin vorhält.
- Personenbezogene Daten in gespeicherten Verläufen pseudonymisieren oder anonymisieren. Textwash Pro entfernt Namen und Kennungen lokal, bevor Text in Langzeitprotokolle geschrieben wird.
- Geheimnisse wie Tokens und Passwörter werden bereits auf Protokollebene maskiert.
- Zugriff auf Rohverläufe nur für einen kleinen, benannten Personenkreis, und auch dieser Zugriff wird protokolliert.
Wenn Protokolle Rückschlüsse auf Leistung oder Verhalten von Beschäftigten zulassen, ist in der Regel der Betriebsrat zu beteiligen. Eine Betriebsvereinbarung schafft hier Klarheit für alle Seiten.
Aufbewahrung nach Prozess, nicht nach Technik
Wie lange Protokolle aufbewahrt werden, richtet sich nach dem unterstützten Prozess. Ein Agent, der Buchungen vorbereitet, übernimmt die Anforderungen der GoBD und die handels- und steuerrechtlichen Aufbewahrungsfristen. Ein Website-Assistent für Produktfragen braucht Verläufe dagegen nur kurz zur Qualitätssicherung. Wir arbeiten mit drei Stufen:
| Stufe | Inhalt | Maßstab für die Frist |
|---|---|---|
| Geschäftlicher Nachweis | Entscheidungen, Freigaben, Ergebnisse | Fristen des zugrunde liegenden Prozesses |
| Betrieb | Werkzeugaufrufe, Fehler, Laufzeiten | Fehleranalyse und Sicherheit |
| Rohverläufe | vollständige Prompts und Antworten | kurz, zweckgebunden, pseudonymisiert |
Die Löschung ist automatisiert, damit Fristen tatsächlich eingehalten werden.
Manipulationssicher speichern
Ein Nachweis taugt nur, wenn er nicht unbemerkt verändert werden kann. Protokolle landen in nur anhängbarem Speicher, die Rechte für Agentenbetrieb und Protokollverwaltung sind getrennt, und Integritätsprüfungen machen Lücken sichtbar. Ein Export in Ihr SIEM oder Ihr Archivsystem ist vorgesehen.
Vom Protokoll zum Prüfnachweis
Prüfer wollen keine Rohdaten, sondern Antworten: Welche Agenten haben diesen Prozess berührt? Wie oft haben Menschen Ergebnisse korrigiert? Welche Eskalationen gab es, und wie schnell wurden sie bearbeitet? Dafür bauen wir Auswertungen und Suchansichten, mit denen Compliance, Revision und Prozessverantwortliche selbst Antworten finden. Für Agenten im Anwendungsbereich der KI-Verordnung unterstützen dieselben Daten die Protokollierungs- und Überwachungspflichten, siehe EU AI Act und KI-Agenten.
Umsetzung mit kalAIDoCreate
Auf der Plattform von kalAIDoCreate ist der Audit-Trail fester Bestandteil: Agenten mit klaren Berechtigungen, SSO-Identitäten, Anbindungen an SAP, CRM, SharePoint und Slack sowie Datenhaltung in der EU sorgen für einheitliche Protokolle. Unser Team für KI-Governance und Compliance erarbeitet mit Ihnen Protokollierungs- und Löschkonzept, die KI-Plattform für Unternehmen liefert die technische Grundlage. Welche Kontrollen der Audit-Trail belegen muss, ergibt sich aus der Risikobewertung für KI-Agenten.
FAQ
Sollten vollständige Prompts und Antworten gespeichert werden?
Nur mit klarem Zweck, Pseudonymisierung, Zugriffsbeschränkung und kurzer Frist. Für die meisten Nachweise genügen strukturierte Einträge mit Verweisen.
Wie lange müssen Protokolle von KI-Agenten aufbewahrt werden?
So lange, wie der zugrunde liegende Prozess es verlangt. Bei buchungsrelevanten Vorgängen gelten die bekannten handels- und steuerrechtlichen Fristen, Rohverläufe sollten deutlich kürzer gespeichert werden.
Muss der Betriebsrat bei der Protokollierung beteiligt werden?
Wenn Protokolle zur Leistungs- oder Verhaltenskontrolle geeignet sind, in aller Regel ja. Wir unterstützen Sie mit einer verständlichen Beschreibung der erfassten Daten.