Die Risikotaxonomie für KI-Agenten: 12 Risiken, die jedes Unternehmen verfolgen sollte

19. April 2026 · 11 Min. Lesezeit
KI-Agenten brauchen eine Risikotaxonomie aus einem einfachen Grund: Sie erzeugen
nicht nur Text. Sie koennen Tools nutzen, auf Daten zugreifen, Kontext speichern,
APIs aufrufen, Aufgaben delegieren und Geschaeftsprozesse ausloesen.
Damit veraendert sich die Governance-Frage im Unternehmen von:
Ist die Modellantwort akzeptabel?
Zu:
Was durfte der Agent tun, was hat er tatsaechlich getan, welche Kontrolle ist
ausgefallen, wer hat das Risiko genehmigt, und koennen wir es belegen?
Dieser Artikel beginnt mit einer praktischen Taxonomie aus 12 Risiken. Danach
erweitert er diese Liste zu einer umfassenderen Unternehmenssicht, gegliedert
nach Zugriffskontrolle, Tool-Missbrauch, Governance, Datenschutz,
Ausgabequalitaet, Agentenverhalten und Zuverlaessigkeit.
Entscheidend ist Quellenklarheit. Einige Risiken stammen direkt aus anerkannten
Frameworks, Gesetzen, Verordnungen oder Standards. Andere sind Risikoindikatoren
aus Sicherheitsforschung, KI-Sicherheitsliteratur oder beobachteten
Vorfallmustern. Diese Hinweise sind nuetzlich, sollten aber nicht als rechtliche
Anforderungen dargestellt werden, wenn kein Gesetz, keine Regulierung und kein
Standard dies tatsaechlich vorgibt.
Die Kurzfassung
Jedes Unternehmen, das KI-Agenten einsetzt, sollte diese 12 Risiken verfolgen:
| Risiko | Was scheitern kann |
|---|---|
| Autonomierisiko | Der Agent handelt ohne ausreichende menschliche Aufsicht |
| Tool-Risiko | Der Agent missbraucht APIs, Datenbanken, Browser, E-Mail, Codeausfuehrung oder Workflow-Tools |
| Berechtigungsrisiko | Der Agent hat mehr Zugriff als noetig |
| Prompt-Injection-Risiko | Der Agent folgt boesartigen oder widerspruechlichen Anweisungen |
| Gedaechtnisrisiko | Der Agent speichert, leakt, vergiftet oder missbraucht Kontext |
| Datenexpositionsrisiko | Der Agent ruft sensible Daten unsicher ab oder legt sie offen |
| Planungsrisiko | Der Agent erstellt einen plausiblen, aber fehlerhaften Mehrschrittplan |
| Delegationsrisiko | Der Agent uebergibt Arbeit ohne klare Kontrollen an andere Agenten oder Aufgaben |
| Observability-Risiko | Die Organisation kann nicht rekonstruieren, was passiert ist |
| Verantwortlichkeitsrisiko | Niemand besitzt eindeutig Freigabe, Betrieb, Incident Response oder Behebung |
| Compliance-Risiko | Das System verletzt rechtliche, regulatorische, vertragliche oder interne Anforderungen |
| Geschaeftsprozessrisiko | Der Agent verursacht operativen Schaden in Finance, HR, Legal, Security, Infrastruktur oder Kundenprozessen |
Diese Liste ist bewusst praktisch. Sie ist eine Checkliste fuer Business Owner,
Security Leads, Compliance-Teams und KI-Architekt:innen vor dem Produktivgang.
Die vollstaendige Unternehmenssicht ist jedoch breiter.
Die breitere Unternehmenstaxonomie
Eine vollere Taxonomie gruppiert Risiken agentischer KI in sieben Domaenen.
| Domaene | Was sie abdeckt |
|---|---|
| Zugriffskontrolle und Berechtigungen | Identitaet, Zugangsdaten, Rechte, delegierte Autoritaet, Least Privilege |
| Tool-Missbrauch | APIs, Konnektoren, Browser, Codeausfuehrung, Datenbanken, E-Mail und Workflow-Aktionen |
| Governance und Verantwortlichkeit | Ownership, Freigaben, Risikoakzeptanz, Policy-Lifecycle und Change Control |
| Datenschutz und Datensicherheit | Personenbezogene Daten, vertrauliche Daten, Gedaechtnis, Aufbewahrung und Exfiltration |
| Ausgabequalitaet und Sicherheit | Halluzination, Bias, Toxizitaet, unsichere Empfehlungen und Overreliance |
| Agentenverhalten und Autonomie | Zielverfolgung, Planung, Delegation, Manipulation und unsichere Aktuation |
| Zuverlaessigkeit und Observability | Logging, Monitoring, Nachvollziehbarkeit, Resilienz und Incident Response |
Diese Struktur passt besser dazu, wie Unternehmen Systeme tatsaechlich steuern.
Security-Teams erkennen Zugriffskontrolle und Tool-Missbrauch. Datenschutzteams
erkennen Datenexposition und Aufbewahrung. Compliance-Teams erkennen
Verantwortlichkeit und Nachweise. Engineering-Teams erkennen Zuverlaessigkeit
und Observability.
Die Taxonomie ist nicht deshalb nuetzlich, weil sie perfekte Kategorien schafft.
Sie ist nuetzlich, weil sie Teams dieselbe operative Frage stellen laesst:
Welche Geschaeftskontrolle faellt aus, wenn sich dieser Agent schlecht verhaelt?
Quellenbasis
Die folgende Taxonomie stuetzt sich auf diese Quellen:
- OWASP Agentic AI - Threats and Mitigations, Version 1.1, Dezember 2025. Dies ist die staerkste direkte Quelle fuer agentenspezifische Bedrohungen wie Memory Poisoning, Tool Misuse, Goal Manipulation, Untraceability, Identity Compromise, Multi-Agent-Risiken und Human Manipulation. Der aktuelle Leitfaden listet Threat IDs T1-T17; aeltere Zusammenfassungen verweisen moeglicherweise auf T1-T15.
- OWASP Top 10 for Large Language Model Applications 2025, insbesondere Prompt Injection, Sensitive Information Disclosure, Supply Chain Vulnerabilities, Excessive Agency, Overreliance und Unbounded Consumption.
- NIST AI Risk Management Framework 1.0, das KI-Risikogovernance ueber Govern, Map, Measure und Manage strukturiert.
- NIST AI RMF Generative AI Profile, NIST AI 600-1, das Risiken generativer KI wie Confabulation, Harmful Bias, Data Privacy, Information Integrity, Human-AI Configuration und Value-Chain/Component Integration benennt.
- MITRE ATLAS, eine Wissensbasis zu gegnerischen Taktiken und Techniken gegen KI-gestuetzte Systeme.
- EU AI Act, Regulation (EU) 2024/1689, insbesondere Anforderungen an Hochrisiko-Systeme zu Risikomanagement, Data Governance, technischer Dokumentation, Logging, Transparenz, menschlicher Aufsicht, Genauigkeit, Robustheit, Cybersicherheit, Post-Market Monitoring und Pflichten von Betreibern.
- GDPR, Regulation (EU) 2016/679, insbesondere Artikel 5, 32, 33 und 35, wenn Agenten personenbezogene Daten verarbeiten.
- ISO/IEC 42001:2023, der Managementsystemstandard fuer KI, nuetzlich fuer Governance, Verantwortlichkeiten, Policies, Risikomanagement und kontinuierliche Verbesserung.
- NIST Cybersecurity Framework 2.0, insbesondere Govern- und Protect-Ergebnisse fuer Identitaet, Zugriff, Lieferkette, Monitoring und Risikomanagement.
Wenn dieser Artikel Frontier-Themen wie Selbstreplikation, Widerstand gegen
Abschaltung oder autonome Ressourcenbeschaffung nennt, sollten sie als
systemische Risikoindikatoren aus KI-Sicherheitsforschung und Advanced-System-
Evaluierungen verstanden werden, sofern das konkrete System diese Faehigkeiten
nicht tatsaechlich besitzt.
1. Autonomierisiko
Autonomierisiko ist das Risiko, dass ein Agent fuer die jeweilige Auswirkung mit
zu wenig menschlicher Aufsicht handelt.
Das ist der entscheidende Unterschied zwischen einem KI-Assistenten und einem
KI-Agenten. Ein Chatbot kann eine schlechte Antwort geben. Ein autonomer
Workflow-Agent kann eine schlechte Antwort geben und danach handeln.
Verfolgen:
- Kann der Agent aufgrund eines Triggers oder Hintergrundereignisses handeln?
- Kann er Mehrschrittaufgaben ohne schrittweise Freigabe ausfuehren?
- Kann er Kund:innen, Mitarbeitende, Finanzdaten, Vertraege, Infrastruktur,
Security oder regulierte Prozesse beeinflussen? - Kann ein Mensch die Aktion unterbrechen, pausieren, uebersteuern oder
rueckgaengig machen?
Quellenbasis:
- Der EU AI Act verlangt in Artikel 14 menschliche Aufsicht fuer Hochrisiko-KI.
- Das NIST AI RMF verlangt, dass Organisationen KI-Risiken im Kontext steuern,
abbilden, messen und managen. - OWASP Agentic AI behandelt Autonomie, Planung, Fehlanpassung und Ueberlastung
des Human-in-the-Loop als agentenspezifische Bedrohungsmuster.
2. Tool-Risiko
Tool-Risiko ist das Risiko, dass ein Agent interne oder externe Tools missbraucht.
Tools sind etwa APIs, Datenbanken, Browser, E-Mail, Codeausfuehrung, CRM-
Aktionen, Workflow-Automationen, Ticketsysteme, Dateispeicher, Zahlungssysteme
und Security-Tools.
Verfolgen:
- Welche Tools darf der Agent aufrufen?
- Sind Tool-Aufrufe nur lesend oder auch schreibend?
- Kann das Modell Tool-Parameter auswaehlen?
- Kann Tool-Output zu neuem Anweisungskontext werden?
- Sind wirkungsstarke Tools durch Policy und menschliche Freigabe begrenzt?
Quellenbasis:
- OWASP Agentic AI umfasst direkt Tool Misuse, Codeausfuehrungsangriffe und
unsichere Inter-Agent-Protokolle. - OWASP LLM Top 10 umfasst Excessive Agency und Insecure Output Handling.
- NIST CSF 2.0 liefert die Security-Kontrollsprache fuer Zugriff, Schutz,
Erkennung, Reaktion und Wiederherstellung.
3. Berechtigungsrisiko
Berechtigungsrisiko ist das Risiko, dass der Agent auf mehr zugreifen oder mehr
tun kann, als er sollte.
Agenten nutzen haeufig geerbte Benutzerrechte, delegierte OAuth-Scopes,
Service Accounts, Konnektoridentitaeten oder Plattformberechtigungen. Dadurch
entsteht ein klassisches Zugriffskontrollproblem in neuer Form.
Verfolgen:
- Nutzt der Agent eine benannte Identitaet?
- Hat er Least-Privilege-Zugriff?
- Nutzt er geteilte Zugangsdaten oder breite Service Accounts?
- Kann er Aktionen ausfuehren, die der anfragende Nutzer nicht direkt ausfuehren koennte?
- Kann er Tenants, Abteilungen, Umgebungen oder Vertrauensgrenzen ueberschreiten?
Spezifische Bedrohungen sind Privilege Escalation, Credential Theft und
Confused-Deputy-Verhalten.
Quellenbasis:
- OWASP Agentic AI behandelt Identity Compromise, Spoofing, Confused Deputy und
Autorisierungsrisiken. - NIST CSF PR.AA behandelt Identitaetsmanagement, Authentifizierung und Zugriffskontrolle.
- GDPR Artikel 32 ist relevant, wenn uebermaessige Rechte personenbezogene Daten offenlegen.
4. Prompt-Injection-Risiko
Prompt-Injection-Risiko ist das Risiko, dass der Agent boesartigen, versteckten,
widerspruechlichen oder nicht vertrauenswuerdigen Anweisungen folgt.
Bei Agenten ist Prompt Injection gefaehrlicher als eine schlechte Antwort, weil
der Agent die boesartige Anweisung in eine Handlung uebersetzen kann.
Verfolgen:
- Liest der Agent nicht vertrauenswuerdige E-Mails, Webseiten, Tickets, PDFs,
Dokumente oder Chat-Nachrichten? - Werden abgerufene Dokumente im selben Kontext wie Systemanweisungen genutzt?
- Koennen Nutzer, Kund:innen, Lieferanten oder Angreifer Tool-Argumente beeinflussen?
- Werden Tool-Aufrufe ausserhalb des Modells durch Policy begrenzt?
Quellenbasis:
- OWASP LLM Top 10 nennt Prompt Injection als zentrales LLM-Anwendungsrisiko.
- OWASP Agentic AI erweitert dies zu Tool Misuse, Goal Manipulation und
Agent-Communication Poisoning. - Viele Prompt-Injection-Warnungen stammen aus Sicherheitsforschung und
Feldberichten. Behandle sie als Risikoindikatoren, nicht automatisch als
gesetzliche Anforderungen.
5. Gedaechtnisrisiko
Gedaechtnisrisiko ist das Risiko, dass ein Agent Kontext unangemessen speichert,
leakt, vergiftet oder wiederverwendet.
Memory macht Agenten nuetzlicher. Es schafft aber auch eine Persistenzschicht,
die Angreifer und Unfaelle ausnutzen koennen.
Verfolgen:
- Was erinnert der Agent?
- Wer darf in das Gedaechtnis schreiben?
- Wer darf es lesen?
- Kann Memory spaetere Tool-Nutzung beeinflussen?
- Wird Memory geloescht, wenn der urspruengliche Zweck entfaellt?
- Werden sensible Informationen vor der Speicherung gefiltert?
Spezifische Bedrohungen sind Memory Poisoning und langfristige Lecks von
personenbezogenem, vertraulichem oder privilegiertem Kontext.
Quellenbasis:
- OWASP Agentic AI nennt Memory Poisoning als eigene Bedrohung.
- NIST AI 600-1 behandelt Data Privacy und Information Integrity.
- GDPR Artikel 5 und 32 gelten, wenn personenbezogene Daten gespeichert,
aufbewahrt oder wiederverwendet werden.
6. Datenexpositionsrisiko
Datenexpositionsrisiko ist das Risiko, dass der Agent sensible Daten unsicher
abruft, offenlegt, zusammenfasst, transformiert oder sendet.
Der Agent muss keine Datenbanktabelle direkt leaken. Er kann sensible Teile in
eine Chat-Nachricht, einen E-Mail-Entwurf, ein Support-Ticket, eine exportierte
Datei oder einen API-Payload zusammenfassen.
Verfolgen:
- Auf welche Datenquellen kann der Agent zugreifen?
- Welche Daten kann er kombinieren?
- Kann er Daten in weniger geschuetzte Kanaele verschieben?
- Kann er Daten an Drittanbieter-Tools oder externe Nutzer senden?
- Sind personenbezogene Daten, Zugangsdaten, Vertraege, Quellcode, HR-Daten,
Finanzdaten oder Security-Logs betroffen?
Quellenbasis:
- OWASP LLM Top 10 umfasst Sensitive Information Disclosure.
- OWASP Agentic AI umfasst Exfiltrationsszenarien ueber Tools, Rogue Agents und
Multi-Agent-Systeme. - GDPR Artikel 5, 32 und 33 gelten, wenn personenbezogene Daten verarbeitet oder
verletzt werden. - EU AI Act Artikel 10 gilt fuer Data Governance bei Hochrisiko-KI-Systemen.
7. Planungsrisiko
Planungsrisiko ist das Risiko, dass ein Agent einen fehlerhaften Mehrschrittplan
erstellt, der lokal plausibel wirkt, aber global scheitert.
Das ist nicht nur Halluzination. Ein Plan kann aus einzeln plausiblen Schritten
bestehen und trotzdem gegen Policies verstossen, Abhaengigkeiten uebersehen,
Kosten erzeugen, ein Team ueberlasten oder den falschen Prozess ausloesen.
Verfolgen:
- Kann der Agent Ziele in Teilziele zerlegen?
- Kann er Plaene anhand von Zwischenergebnissen ueberarbeiten?
- Optimiert er Aufgabenerledigung staerker als Policy, Sicherheit, Budget oder
Geschaeftsgrenzen? - Werden Plaene vor wirkungsstarker Ausfuehrung geprueft?
Quellenbasis:
- OWASP Agentic AI umfasst Intent Breaking, Goal Manipulation sowie misaligned
oder deceptive behavior. - NIST AI 600-1 behandelt Confabulation, Information Integrity und Human-AI
Configuration. - EU AI Act Artikel 9, 13 und 14 sind fuer Hochrisiko-Systeme relevant, weil
Risikomanagement, Transparenz und menschliche Aufsicht eingebaut sein muessen.
8. Delegationsrisiko
Delegationsrisiko ist das Risiko, dass der Agent Arbeit ohne klare Kontrolle an
andere Agenten, Aufgaben, Tools oder Workflows uebergibt.
Multi-Agent-Systeme erschweren Verantwortlichkeit. Ein Koordinator-Agent kann
eine Aufgabe erstellen, ein Spezialagent ein Tool aufrufen, ein weiterer Agent
das Ergebnis zusammenfassen, und ein vierter mit einem Nutzer kommunizieren.
Verfolgen:
- Welche Agenten duerfen kommunizieren?
- Sind Agentenidentitaeten authentifiziert?
- Sind Nachrichten signiert, begrenzt, geloggt und gefiltert?
- Kann ein Agent einen anderen Agenten dazu bringen, seine Autoritaet zu ueberschreiten?
- Wer besitzt den End-to-End-Workflow?
Quellenbasis:
- OWASP Agentic AI umfasst Agent Communication Poisoning, Rogue Agents in
Multi-Agent Systems, Human Attacks on Multi-Agent Systems und Insecure
Inter-Agent Protocol Abuse. - EU AI Act Artikel 25 ist fuer Verantwortlichkeiten entlang der KI-Wertschoepfungskette relevant.
- ISO/IEC 42001 ist fuer Managementsystem-Verantwortlichkeiten und Lifecycle-
Kontrollen relevant.
9. Observability-Risiko
Observability-Risiko ist das Risiko, dass die Organisation nicht rekonstruieren
kann, was passiert ist.
Bei Agenten reichen Logs der finalen Antwort nicht aus. Benoetigt wird der
operative Trace: Trigger, Nutzer, Anweisungsversion, Retrievals, Tool-Aufrufe,
Argumente, Policy-Entscheidungen, Freigaben, Outputs, Aktionen, Fehler,
Retries und Handoffs.
Verfolgen:
- Koennen Incident Responder die gesamte Ausfuehrung rekonstruieren?
- Werden Tool-Aufrufe und Argumente geloggt?
- Werden Freigaben aufgezeichnet?
- Werden Policy-Ablehnungen aufgezeichnet?
- Kann abnormales Verhalten erkannt werden?
- Gibt es einen Kill Switch oder ein Pause-Verfahren?
Quellenbasis:
- OWASP Agentic AI umfasst Repudiation and Untraceability.
- Der EU AI Act umfasst Logging, technische Dokumentation, Monitoring,
Post-Market Monitoring und Korrekturpflichten fuer Hochrisiko-Systeme. - NIST AI RMF und NIST CSF unterstuetzen Messung, Monitoring, Reaktion und
Wiederherstellung als Risikomanagementfunktionen.
10. Verantwortlichkeitsrisiko
Verantwortlichkeitsrisiko ist das Risiko, dass niemand Entscheidungen,
Freigaben, Betrieb, Vorfaelle oder Behebung eindeutig besitzt.
Dieses Risiko wird leicht uebersehen, weil ein Agent zwischen Teams sitzt.
Product besitzt den Use Case. IT besitzt den Konnektor. Security besitzt die
Zugriffskontrolle. Legal besitzt die Policy. Ein Vendor besitzt die Plattform.
Das Business besitzt das Ergebnis.
Verfolgen:
- Wer ist Business Owner?
- Wer ist Technical Owner?
- Wer genehmigt den Produktivbetrieb?
- Wer genehmigt wirkungsstarke Aktionskategorien?
- Wer bearbeitet Vorfaelle?
- Wer akzeptiert Restrisiko?
Quellenbasis:
- EU AI Act Artikel 16-27 definieren Verantwortlichkeiten von Provider,
Importer, Distributor, Deployer und weiteren Rollen in der Wertschoepfungskette. - ISO/IEC 42001 verlangt Managementsystem-Verantwortlichkeit und kontinuierliche Verbesserung.
- Die NIST AI RMF Govern-Funktion betont organisatorische Rollen, Policies,
Prozesse und Aufsicht.
11. Compliance-Risiko
Compliance-Risiko ist das Risiko, dass der Agent rechtliche, regulatorische,
vertragliche, sektorale oder interne Policy-Anforderungen verletzt.
Das ist nicht nur eine AI-Act-Frage. Je nach Use Case kann Agentenrisiko
Datenschutz, Arbeitsrecht, Finanzdienstleistungen, Gesundheit, Verbraucherschutz,
Cybersicherheit, Vertraege, Aufbewahrungspflichten, Sektorregulierung und
interne Policies beruehren.
Verfolgen:
- Ist der Use Case hochriskant oder reguliert?
- Verarbeitet der Agent personenbezogene Daten?
- Beeinflusst er Rechte, Zugriff, Beschaeftigung, Kredit, Bildung, Gesundheit,
Sicherheit oder rechtliche Ergebnisse? - Gibt es Dokumentation zu Risikomanagement, Tests, Monitoring, menschlicher
Aufsicht und Incident Response? - Werden Transparenzpflichten erfuellt?
Quellenbasis:
- EU AI Act Artikel 9-15, 17-20, 26-27 und 50 sind besonders relevant fuer
Hochrisiko- und Transparenzpflichten. - GDPR Artikel 5, 32, 33 und 35 sind relevant, wenn personenbezogene Daten betroffen sind.
- ISO/IEC 42001 und NIST AI RMF liefern Governance- und Evidenzstrukturen.
12. Geschaeftsprozessrisiko
Geschaeftsprozessrisiko ist das Risiko, dass der Agent direkten operativen
Schaden verursacht.
Hier wird Agent Governance konkret. Eine schlechte Antwort ist ein Problem. Eine
schlechte Antwort, die ein Kundenticket schliesst, eine Rueckerstattung
genehmigt, einen Mitarbeiterdatensatz aendert, Infrastruktur veraendert, einer
Behoerde mailt oder einen Legal-Workflow aktualisiert, ist ein anderes.
Verfolgen:
- Welchen Prozess kann der Agent beeinflussen?
- Kann die Aktion rueckgaengig gemacht werden?
- Kann der Agent skaliert handeln?
- Kann er ausserhalb der Arbeitszeiten handeln?
- Kann er Menschen beeinflussen, die folgenschwere Entscheidungen treffen?
- Gibt es bestehende Prozesskontrollen, die der Agent umgeht?
Quellenbasis:
- OWASP Agentic AI umfasst Human Manipulation, Overwhelming Human in the Loop,
Misaligned Behavior und Tool Misuse. - NIST AI 600-1 behandelt Human-AI Configuration, Confabulation, Harmful Bias
und Information Integrity. - EU AI Act Artikel 14 und 26 sind relevant, wenn der Agent Teil eines
Hochrisiko-Deployments ist und menschliche Aufsicht oder Betreiberpflichten gelten.
Spezifische Bedrohungen fuer das Register
Die 12 Risiken sind die einfache Unternehmenssprache. Ein Risikoregister sollte
auch die spezifischere Bedrohungsklasse erfassen.
| Spezifische Bedrohung | Primaere Domaene | Quellenbasis |
|---|---|---|
| Privilege escalation | Zugriffskontrolle | OWASP Agentic AI; NIST CSF PR.AA |
| Credential theft | Zugriffskontrolle | OWASP Agentic AI identity compromise; NIST CSF PR.AA |
| Confused deputy | Zugriffskontrolle | OWASP Agentic AI authorization and identity patterns |
| Goal misalignment | Agentenverhalten | OWASP Agentic AI intent breaking and misaligned behavior; NIST AI RMF |
| Policy drift | Governance | ISO/IEC 42001 continual improvement; EU AI Act quality management and change management concepts |
| Hallucination / confabulation | Ausgabequalitaet | NIST AI 600-1; OWASP LLM Top 10 Overreliance |
| Bias and toxicity | Ausgabequalitaet | NIST AI 600-1 Harmful Bias; EU AI Act Article 10 for high-risk data governance |
| API integration failure | Tool-Missbrauch und Zuverlaessigkeit | OWASP Agentic AI tool misuse; NIST CSF Protect, Detect, Respond |
| Supply-chain vulnerabilities | Governance und Tool-Missbrauch | OWASP Agentic AI supply-chain risk; OWASP LLM Top 10 Supply Chain Vulnerabilities |
| Uncontrolled resource consumption | Zuverlaessigkeit | OWASP LLM Top 10 Unbounded Consumption; NIST AI 600-1 environmental and cost impacts |
| Sensitive data exposure | Datenschutz | OWASP LLM Top 10 Sensitive Information Disclosure; GDPR |
| Data exfiltration channel | Datenschutz und Tool-Missbrauch | OWASP Agentic AI exfiltration scenarios; MITRE ATLAS exfiltration techniques |
| Unsafe actuation | Agentenverhalten | EU AI Act human oversight; OWASP Agentic AI tool misuse |
| Human manipulation | Agentenverhalten | OWASP Agentic AI Human Manipulation; NIST AI 600-1 Human-AI Configuration |
| Opaque reasoning | Observability | OWASP Agentic AI Repudiation and Untraceability; EU AI Act logging and transparency obligations |
| Data and memory poisoning | Datenschutz, Qualitaet, Zuverlaessigkeit | OWASP Agentic AI Memory Poisoning; MITRE ATLAS poisoning techniques; NIST AI 600-1 information integrity |
Was Unternehmen verfolgen sollten
Der praktische Schritt ist, beides zu erfassen:
- Die Bedrohungsklasse.
- Die Geschaeftskontrolle, die ausfaellt.
Beispiel:
- "Prompt injection" ist eine Bedrohungsklasse.
- "Der Customer-Support-Agent kann Rueckerstattungen ohne Policy-Validierung
ausloesen" ist eine ausgefallene Geschaeftskontrolle.
Dieser zweite Satz macht die Taxonomie operativ.
Mindestens sollte jeder Registereintrag erfassen:
- Agentenname und Owner
- Geschaeftsprozess
- Agentenlevel und Autonomieniveau
- Tools, Datenquellen, Memory Stores und delegierte Agenten
- Risikodomaene und spezifische Bedrohungsklasse
- Referenzquelle
- Bedrohungsszenario
- Fehlende oder ausgefallene Kontrolle
- Wahrscheinlichkeit, Auswirkung, Autonomie, Datensensitivitaet, Tool-Kritikalitaet und Observability-Scores
- Erforderliche menschliche Freigabepunkte
- Evidenzort
- Owner des Restrisikos
- Review-Trigger und naechstes Review-Datum
Systemische Indikatoren beobachten
Die meisten heutigen Unternehmensagenten haben keine Frontier-Autonomie. Einige
systemische Indikatoren sind trotzdem wichtig, weil sie zeigen, wann ein
gewoehnlicher Workflow-Agent in eine gefaehrlichere Kategorie driftet.
Achten Sie auf:
- Unbeabsichtigte Zielverfolgung
- Unautorisierte Privilege Escalation
- Autonome Ressourcenbeschaffung
- Versuche, Zugriff zu bewahren oder Abschaltung zu widerstehen
- Selbstreplikation oder nicht autorisierte Agentenerstellung
- Multi-Agent-Misinformation-Loops
- Retry-Stuerme, wiederholte Tool-Aufrufe, Kostenspitzen oder Quota-Erschoepfung
- Neue oder unerwartete Datenexfiltrationspfade
Diese Indikatoren stammen nicht alle aus einem einzigen Rechtsrahmen. Sie sind
besser als Risikosignale aus KI-Sicherheitsforschung, adversarial testing und
Advanced-Agent-Evaluierungen zu verstehen. Wenn sie in einem realen
Unternehmenssystem auftreten, sollten sie eine sofortige Pruefung ausloesen.
Die praktische Regel
Bleiben Sie nicht bei "dieser Agent hat Autonomierisiko" oder "dieser Agent hat
Prompt-Injection-Risiko" stehen.
Formulieren Sie die operative Version:
Dieser Agent kann Lieferanten-E-Mails lesen, Vertragsaenderungen extrahieren
und Freigaben routen. Eine boesartige Lieferanten-E-Mail koennte Anweisungen
injizieren, die den Agenten dazu bringen, eine Vertragsaenderung falsch zu
klassifizieren und Legal Review zu umgehen.
Jetzt laesst sich das steuern.
Sie koennen einen Owner zuweisen. Sie koennen eine Kontrolle verlangen. Sie
koennen den Fehler testen. Sie koennen Evidenz loggen. Sie koennen entscheiden,
ob das Restrisiko akzeptabel ist.
Dafuer ist eine Agenten-Risikotaxonomie da.
Praktisches Asset
Das begleitende GitHub-Framework enthaelt:
Nutzen Sie die Taxonomie, um das Risiko zu benennen. Nutzen Sie das Register,
um Ownership zuzuweisen. Nutzen Sie das Scoring-Modell, um zu entscheiden,
welche Kontrollen vor dem Produktivbetrieb vorhanden sein muessen.