KI-Governance und Compliance

Audit-Trail für KI-Agenten: Protokolle und Nachweise

Audit-Trail für KI-Agenten: was protokolliert wird, wie lange Sie Protokolle aufbewahren und wie daraus Nachweise für Revision und Prüfer werden.

Kurze Antwort

Ein Audit-Trail für KI-Agenten hält fest, wer den Agenten ausgelöst hat, welche Informationen er genutzt, welche Werkzeuge er aufgerufen und wer das Ergebnis freigegeben hat. Mit passenden Aufbewahrungsfristen und Schutz personenbezogener Daten in den Protokollen lässt sich jede Aktion nachvollziehen und gegenüber Prüfern belegen.

Inhalt
  1. Nachvollziehbarkeit entscheidet über Akzeptanz
  2. Was ein Protokolleintrag enthalten sollte
  3. Datensparsam protokollieren
  4. Aufbewahrung nach Prozess, nicht nach Technik
  5. Manipulationssicher speichern
  6. Vom Protokoll zum Prüfnachweis
  7. Umsetzung mit kalAIDoCreate
  8. FAQ

Nachvollziehbarkeit entscheidet über Akzeptanz

Irgendwann fragt jemand: Warum hat der Agent das getan? Vielleicht die interne Revision bei einer Zahlung, der Wirtschaftsprüfer im Rahmen der Abschlussprüfung, eine Kundin, die eine Antwort beanstandet, oder der Datenschutzbeauftragte bei einem Auskunftsersuchen. Lautet die ehrliche Antwort "Wir sehen die versendete E-Mail, aber nicht, worauf der Agent sich gestützt hat", verliert der Agent sein Vertrauen, und mit ihm das Projekt.

Klassische Anwendungsprotokolle erfassen Anfragen und Fehler. Für Agenten braucht es mehr: die Kette aus Kontext, Zwischenschritten, Werkzeugaufrufen und menschlichen Freigaben, die zu einem Ergebnis geführt hat.

Was ein Protokolleintrag enthalten sollte

Für jeden Durchlauf eines Agenten entsteht ein strukturierter Datensatz:

  • Auslöser: Anfrage einer Person, Zeitplan, eingehende E-Mail oder Systemereignis, mit Identität über SSO.
  • Agentenversion: Konfiguration, Anweisungen, Modell und Werkzeugsatz. Ohne Versionierung lässt sich früheres Verhalten nicht erklären.
  • Eingaben und Kontext: Verweise auf genutzte Dokumente, Datensätze und Nachrichten, möglichst als Versions-ID statt als Kopie.
  • Werkzeugaufrufe: jede Aktion mit Parametern, Zielsystem, Ergebnis und Zeitstempel, getrennt nach Lese- und Schreibzugriffen.
  • Entscheidungen: Klassifizierung oder Auswahl des Agenten, Konfidenzsignale und die Regel, die eine Eskalation ausgelöst hat.
  • Menschliche Beteiligung: wer geprüft, freigegeben, geändert oder abgelehnt hat und was geändert wurde.
  • Ergebnis: Endzustand im Zielsystem, etwa in SAP oder im DMS, sowie Folgeaufgaben.

Eine gemeinsame Vorgangs-ID verbindet alle Einträge, auch wenn mehrere Agenten und Menschen an einem Geschäftsvorfall beteiligt sind.

Datensparsam protokollieren

Mehr ist nicht automatisch besser. Vollständige Prompts und Antworten enthalten oft personenbezogene Daten, Geschäftsgeheimnisse oder versehentlich kopierte Zugangsdaten. Unbegrenzt gespeichert, entsteht ein neues Datenschutzproblem. Unsere Grundsätze:

  1. Verweise statt Inhalte, wenn das Quellsystem den Inhalt ohnehin vorhält.
  2. Personenbezogene Daten in gespeicherten Verläufen pseudonymisieren oder anonymisieren. Textwash Pro entfernt Namen und Kennungen lokal, bevor Text in Langzeitprotokolle geschrieben wird.
  3. Geheimnisse wie Tokens und Passwörter werden bereits auf Protokollebene maskiert.
  4. Zugriff auf Rohverläufe nur für einen kleinen, benannten Personenkreis, und auch dieser Zugriff wird protokolliert.

Wenn Protokolle Rückschlüsse auf Leistung oder Verhalten von Beschäftigten zulassen, ist in der Regel der Betriebsrat zu beteiligen. Eine Betriebsvereinbarung schafft hier Klarheit für alle Seiten.

Aufbewahrung nach Prozess, nicht nach Technik

Wie lange Protokolle aufbewahrt werden, richtet sich nach dem unterstützten Prozess. Ein Agent, der Buchungen vorbereitet, übernimmt die Anforderungen der GoBD und die handels- und steuerrechtlichen Aufbewahrungsfristen. Ein Website-Assistent für Produktfragen braucht Verläufe dagegen nur kurz zur Qualitätssicherung. Wir arbeiten mit drei Stufen:

StufeInhaltMaßstab für die Frist
Geschäftlicher NachweisEntscheidungen, Freigaben, ErgebnisseFristen des zugrunde liegenden Prozesses
BetriebWerkzeugaufrufe, Fehler, LaufzeitenFehleranalyse und Sicherheit
Rohverläufevollständige Prompts und Antwortenkurz, zweckgebunden, pseudonymisiert

Die Löschung ist automatisiert, damit Fristen tatsächlich eingehalten werden.

Manipulationssicher speichern

Ein Nachweis taugt nur, wenn er nicht unbemerkt verändert werden kann. Protokolle landen in nur anhängbarem Speicher, die Rechte für Agentenbetrieb und Protokollverwaltung sind getrennt, und Integritätsprüfungen machen Lücken sichtbar. Ein Export in Ihr SIEM oder Ihr Archivsystem ist vorgesehen.

Vom Protokoll zum Prüfnachweis

Prüfer wollen keine Rohdaten, sondern Antworten: Welche Agenten haben diesen Prozess berührt? Wie oft haben Menschen Ergebnisse korrigiert? Welche Eskalationen gab es, und wie schnell wurden sie bearbeitet? Dafür bauen wir Auswertungen und Suchansichten, mit denen Compliance, Revision und Prozessverantwortliche selbst Antworten finden. Für Agenten im Anwendungsbereich der KI-Verordnung unterstützen dieselben Daten die Protokollierungs- und Überwachungspflichten, siehe EU AI Act und KI-Agenten.

Umsetzung mit kalAIDoCreate

Auf der Plattform von kalAIDoCreate ist der Audit-Trail fester Bestandteil: Agenten mit klaren Berechtigungen, SSO-Identitäten, Anbindungen an SAP, CRM, SharePoint und Slack sowie Datenhaltung in der EU sorgen für einheitliche Protokolle. Unser Team für KI-Governance und Compliance erarbeitet mit Ihnen Protokollierungs- und Löschkonzept, die KI-Plattform für Unternehmen liefert die technische Grundlage. Welche Kontrollen der Audit-Trail belegen muss, ergibt sich aus der Risikobewertung für KI-Agenten.

FAQ

Sollten vollständige Prompts und Antworten gespeichert werden?

Nur mit klarem Zweck, Pseudonymisierung, Zugriffsbeschränkung und kurzer Frist. Für die meisten Nachweise genügen strukturierte Einträge mit Verweisen.

Wie lange müssen Protokolle von KI-Agenten aufbewahrt werden?

So lange, wie der zugrunde liegende Prozess es verlangt. Bei buchungsrelevanten Vorgängen gelten die bekannten handels- und steuerrechtlichen Fristen, Rohverläufe sollten deutlich kürzer gespeichert werden.

Muss der Betriebsrat bei der Protokollierung beteiligt werden?

Wenn Protokolle zur Leistungs- oder Verhaltenskontrolle geeignet sind, in aller Regel ja. Wir unterstützen Sie mit einer verständlichen Beschreibung der erfassten Daten.

Tools aus dem jocapps-Ökosystem

Sie wollen es richtig machen, und schnell?

Sprechen Sie mit unseren AI Code Engineers und KI-Architekten. Im kostenlosen 30-Minuten-Call schauen wir auf Idee, Prototyp oder Roadmap und sagen Ihnen ehrlich, was es zum Launch braucht.

24/7 Telefon-Support auf Deutsch und Englisch.

Kostenloser Call

Kostenloser Intro-Call

Sagen Sie uns, für welche Aufgabe ein KI-Agent Verantwortung übernehmen soll. Wir zeigen, wie Plattform, AI Code Engineers und Betrieb an Ihre Landschaft andocken.

  • 30 Minuten, unverbindlich
  • Ehrlicher Machbarkeits-Check
  • Konkreter nächster Schritt
Lieber direkt sprechen? 24/7 Telefon-Support auf Deutsch und Englisch+49 761 519 751 50