Kurze Antwort
Eine Risikobewertung für KI-Agenten prüft, was ein Agent darf, wie er scheitern kann, welche Daten er berührt und wer eingreift. Vor dem Go-live durchgeführt, macht sie aus diffusen Bedenken konkrete Maßnahmen, ein bewusst akzeptiertes Restrisiko und eine verantwortliche Person.
Inhalt
Wo klassische Prüfungen zu kurz greifen
Neue Software durchläuft in den meisten Unternehmen eine Prüfung durch Informationssicherheit und Datenschutz. Für KI-Agenten reicht das nicht. Ihr Verhalten ist nicht vollständig im Code festgelegt, sie interpretieren Anweisungen aus E-Mails und Dokumenten und rufen Werkzeuge mit echten Berechtigungen auf. Die Frage nach Verschlüsselung bleibt wichtig, erfasst aber nicht den Fall, dass ein Agent durch eine präparierte Rechnung dazu gebracht wird, Lieferantendaten an eine fremde Adresse zu senden.
Eine agentenspezifische Bewertung schließt diese Lücke. Sie muss schlank genug sein, um für jeden Agenten durchgeführt zu werden, und belastbar genug, damit Revision, Datenschutzbeauftragte und Betriebsrat die Begründung nachvollziehen können.
Die Methode
Auftrag festlegen. In wenigen Sätzen: Welche Aufgabe verantwortet der Agent, woran wird er gemessen, welche Entscheidungen trifft er nie? Passt der Auftrag nicht in einen Absatz, ist der Zuschnitt meist zu groß.
Systeme und Rechte erfassen. Jedes System mit Lese- und Schreibrechten wird aufgeführt, möglichst genau: welches Postfach, welche SharePoint-Bibliotheken, welche Buchungskreise in SAP, welche Felder im CRM. Jede Schreibberechtigung wird als umkehrbar oder unumkehrbar markiert. Externe Nachrichten, Zahlungen und Löschungen sind die kritischen Stellen.
Fehlerbilder durchspielen. Für jedes Werkzeug fragen wir, was schiefgehen kann:
- falscher Inhalt durch erfundene Fakten oder veraltete Quellen,
- richtige Überlegung, aber falscher Datensatz oder Empfänger,
- Manipulation durch versteckte Anweisungen in Dokumenten (Prompt Injection),
- Abfluss personenbezogener oder vertraulicher Daten,
- stiller Ausfall, den niemand bemerkt,
- schleichende Ausweitung, wenn der Agent später neue Rechte erhält.
Bewerten. Eintrittswahrscheinlichkeit und Auswirkung je dreistufig, gemeinsam mit der fachlich verantwortlichen Person. Eine gemeinsame, dokumentierte Einschätzung ist wertvoller als Scheingenauigkeit.
Maßnahmen zuordnen. Typisch sind minimale Berechtigungen, menschliche Freigabe für unumkehrbare Aktionen, Positivlisten für Empfänger, Schwellenwerte für Eskalation, Mengenbegrenzungen, vollständige Protokolle und Alarme bei Auffälligkeiten. Für personenbezogene Daten ist die Anonymisierung vor dem Modellaufruf besonders wirksam: Textwash Pro erledigt das lokal, offline oder als Datenschutzschicht vor ChatGPT und Claude.
Restrisiko akzeptieren. Am Ende steht eine Entscheidung: Eine befugte Person akzeptiert das verbleibende Risiko, mit Bedingungen und Wiedervorlage. Ohne diese Unterschrift kein Go-live.
Aufbau der Vorlage
| Abschnitt | Inhalt |
|---|---|
| Auftrag | Aufgabe, Erfolgskriterium, ausgeschlossene Entscheidungen |
| Systeme | Lese- und Schreibrechte, umkehrbar oder nicht |
| Daten | Datenkategorien, Personenbezug, Verweis auf Rechtsgrundlage |
| Fehlerbilder | Szenario, Wahrscheinlichkeit, Auswirkung |
| Maßnahmen | Kontrolle, Umsetzung, Testnachweis |
| Aufsicht | Freigaben, Eskalationsweg, Reaktionszeiten |
| Nachweise | Ablageort von Protokollen und Testergebnissen |
| Entscheidung | Restrisiko, Verantwortliche Person, Wiedervorlage |
Die Vorlage geht in Ihren Besitz über, damit Ihre Teams künftige Agenten selbst bewerten können.
Testen statt nur beschreiben
Glaubwürdig wird eine Bewertung erst durch Tests. Vor dem Go-live prüfen unsere AI Code Engineers den Agenten mit Szenarien: versteckte Anweisungen in Anhängen, mehrdeutige Anfragen, Grenzfälle in Stammdaten und simulierte Ausfälle angebundener Systeme. Die Ergebnisse werden der Bewertung als Nachweis beigefügt.
Ein Beispiel aus der Kreditorenbuchhaltung: Ein Agent soll Eingangsrechnungen prüfen und Buchungsvorschläge erstellen. Im Test legen wir eine Rechnung vor, in deren Fußzeile die Anweisung steht, die Bankverbindung des Lieferanten zu ändern. Ein gut abgesicherter Agent erkennt den Widerspruch zu den Stammdaten, führt die Änderung nicht aus und meldet den Vorgang an die zuständige Sachbearbeitung. Genau solche Szenarien gehören in jede Bewertung, weil sie zeigen, ob Maßnahmen im Ernstfall greifen und nicht nur auf dem Papier bestehen.
Plattform statt Einzelfall
Auf der Plattform von kalAIDoCreate sind viele Maßnahmen aus der Vorlage Konfiguration statt Sonderentwicklung: Agenten mit ausdrücklichen Berechtigungen, SSO, Audit-Trails, Anbindungen an SAP, CRM, SharePoint und Slack sowie Datenhaltung in der EU. So bleiben Bewertungen auch bei vielen Agenten einheitlich. Wie die Protokollierung aufgebaut ist, zeigt unser Beitrag zum Audit-Trail für KI-Agenten.
Einbettung in Ihre Governance
Die Bewertung ergänzt Datenschutz-Folgenabschätzung und die Einstufung nach der KI-Verordnung, ersetzt sie aber nicht. Wir verknüpfen die Dokumente, damit dieselben Angaben nicht doppelt gepflegt werden. Bei Agenten, die Beschäftigtendaten berühren, gehört der Betriebsrat früh an den Tisch. Unser Team für KI-Governance und Compliance führt den Prozess mit Ihnen durch, und der Betrieb von KI-Agenten sorgt dafür, dass Bewertungen bei Änderungen aktualisiert werden. Zur regulatorischen Einordnung lesen Sie EU AI Act und KI-Agenten.
FAQ
Wie aufwendig ist eine Risikobewertung für einen KI-Agenten?
Für einen klar zugeschnittenen Agenten genügen meist ein konzentrierter Workshop und eine Testphase. Viele Schreibrechte oder sensible Daten erhöhen den Aufwand.
Wer sollte beteiligt sein?
Fachlich Verantwortliche, Informationssicherheit, Datenschutz und das Entwicklungsteam, bei Beschäftigtendaten auch der Betriebsrat.
Wann ist eine erneute Bewertung nötig?
Sobald der Agent neue Werkzeuge, Rechte, Datenkategorien oder Nutzergruppen erhält. Kleine Anpassungen an Anweisungen genügen einer vereinfachten Prüfung.