Die Risikotaxonomie für KI-Agenten: 12 Risiken, die jedes Unternehmen verfolgen sollte

Die Risikotaxonomie für KI-Agenten: 12 Risiken, die jedes Unternehmen verfolgen sollte

19. April 2026 · 11 Min. Lesezeit

KI-Agenten brauchen eine Risikotaxonomie aus einem einfachen Grund: Sie erzeugen
nicht nur Text. Sie koennen Tools nutzen, auf Daten zugreifen, Kontext speichern,
APIs aufrufen, Aufgaben delegieren und Geschaeftsprozesse ausloesen.

Damit veraendert sich die Governance-Frage im Unternehmen von:

Ist die Modellantwort akzeptabel?

Zu:

Was durfte der Agent tun, was hat er tatsaechlich getan, welche Kontrolle ist
ausgefallen, wer hat das Risiko genehmigt, und koennen wir es belegen?

Dieser Artikel beginnt mit einer praktischen Taxonomie aus 12 Risiken. Danach
erweitert er diese Liste zu einer umfassenderen Unternehmenssicht, gegliedert
nach Zugriffskontrolle, Tool-Missbrauch, Governance, Datenschutz,
Ausgabequalitaet, Agentenverhalten und Zuverlaessigkeit.

Entscheidend ist Quellenklarheit. Einige Risiken stammen direkt aus anerkannten
Frameworks, Gesetzen, Verordnungen oder Standards. Andere sind Risikoindikatoren
aus Sicherheitsforschung, KI-Sicherheitsliteratur oder beobachteten
Vorfallmustern. Diese Hinweise sind nuetzlich, sollten aber nicht als rechtliche
Anforderungen dargestellt werden, wenn kein Gesetz, keine Regulierung und kein
Standard dies tatsaechlich vorgibt.

Die Kurzfassung

Jedes Unternehmen, das KI-Agenten einsetzt, sollte diese 12 Risiken verfolgen:

Risiko Was scheitern kann
Autonomierisiko Der Agent handelt ohne ausreichende menschliche Aufsicht
Tool-Risiko Der Agent missbraucht APIs, Datenbanken, Browser, E-Mail, Codeausfuehrung oder Workflow-Tools
Berechtigungsrisiko Der Agent hat mehr Zugriff als noetig
Prompt-Injection-Risiko Der Agent folgt boesartigen oder widerspruechlichen Anweisungen
Gedaechtnisrisiko Der Agent speichert, leakt, vergiftet oder missbraucht Kontext
Datenexpositionsrisiko Der Agent ruft sensible Daten unsicher ab oder legt sie offen
Planungsrisiko Der Agent erstellt einen plausiblen, aber fehlerhaften Mehrschrittplan
Delegationsrisiko Der Agent uebergibt Arbeit ohne klare Kontrollen an andere Agenten oder Aufgaben
Observability-Risiko Die Organisation kann nicht rekonstruieren, was passiert ist
Verantwortlichkeitsrisiko Niemand besitzt eindeutig Freigabe, Betrieb, Incident Response oder Behebung
Compliance-Risiko Das System verletzt rechtliche, regulatorische, vertragliche oder interne Anforderungen
Geschaeftsprozessrisiko Der Agent verursacht operativen Schaden in Finance, HR, Legal, Security, Infrastruktur oder Kundenprozessen

Diese Liste ist bewusst praktisch. Sie ist eine Checkliste fuer Business Owner,
Security Leads, Compliance-Teams und KI-Architekt:innen vor dem Produktivgang.

Die vollstaendige Unternehmenssicht ist jedoch breiter.

Die breitere Unternehmenstaxonomie

Eine vollere Taxonomie gruppiert Risiken agentischer KI in sieben Domaenen.

Domaene Was sie abdeckt
Zugriffskontrolle und Berechtigungen Identitaet, Zugangsdaten, Rechte, delegierte Autoritaet, Least Privilege
Tool-Missbrauch APIs, Konnektoren, Browser, Codeausfuehrung, Datenbanken, E-Mail und Workflow-Aktionen
Governance und Verantwortlichkeit Ownership, Freigaben, Risikoakzeptanz, Policy-Lifecycle und Change Control
Datenschutz und Datensicherheit Personenbezogene Daten, vertrauliche Daten, Gedaechtnis, Aufbewahrung und Exfiltration
Ausgabequalitaet und Sicherheit Halluzination, Bias, Toxizitaet, unsichere Empfehlungen und Overreliance
Agentenverhalten und Autonomie Zielverfolgung, Planung, Delegation, Manipulation und unsichere Aktuation
Zuverlaessigkeit und Observability Logging, Monitoring, Nachvollziehbarkeit, Resilienz und Incident Response

Diese Struktur passt besser dazu, wie Unternehmen Systeme tatsaechlich steuern.
Security-Teams erkennen Zugriffskontrolle und Tool-Missbrauch. Datenschutzteams
erkennen Datenexposition und Aufbewahrung. Compliance-Teams erkennen
Verantwortlichkeit und Nachweise. Engineering-Teams erkennen Zuverlaessigkeit
und Observability.

Die Taxonomie ist nicht deshalb nuetzlich, weil sie perfekte Kategorien schafft.
Sie ist nuetzlich, weil sie Teams dieselbe operative Frage stellen laesst:

Welche Geschaeftskontrolle faellt aus, wenn sich dieser Agent schlecht verhaelt?

Quellenbasis

Die folgende Taxonomie stuetzt sich auf diese Quellen:

  • OWASP Agentic AI - Threats and Mitigations, Version 1.1, Dezember 2025. Dies ist die staerkste direkte Quelle fuer agentenspezifische Bedrohungen wie Memory Poisoning, Tool Misuse, Goal Manipulation, Untraceability, Identity Compromise, Multi-Agent-Risiken und Human Manipulation. Der aktuelle Leitfaden listet Threat IDs T1-T17; aeltere Zusammenfassungen verweisen moeglicherweise auf T1-T15.
  • OWASP Top 10 for Large Language Model Applications 2025, insbesondere Prompt Injection, Sensitive Information Disclosure, Supply Chain Vulnerabilities, Excessive Agency, Overreliance und Unbounded Consumption.
  • NIST AI Risk Management Framework 1.0, das KI-Risikogovernance ueber Govern, Map, Measure und Manage strukturiert.
  • NIST AI RMF Generative AI Profile, NIST AI 600-1, das Risiken generativer KI wie Confabulation, Harmful Bias, Data Privacy, Information Integrity, Human-AI Configuration und Value-Chain/Component Integration benennt.
  • MITRE ATLAS, eine Wissensbasis zu gegnerischen Taktiken und Techniken gegen KI-gestuetzte Systeme.
  • EU AI Act, Regulation (EU) 2024/1689, insbesondere Anforderungen an Hochrisiko-Systeme zu Risikomanagement, Data Governance, technischer Dokumentation, Logging, Transparenz, menschlicher Aufsicht, Genauigkeit, Robustheit, Cybersicherheit, Post-Market Monitoring und Pflichten von Betreibern.
  • GDPR, Regulation (EU) 2016/679, insbesondere Artikel 5, 32, 33 und 35, wenn Agenten personenbezogene Daten verarbeiten.
  • ISO/IEC 42001:2023, der Managementsystemstandard fuer KI, nuetzlich fuer Governance, Verantwortlichkeiten, Policies, Risikomanagement und kontinuierliche Verbesserung.
  • NIST Cybersecurity Framework 2.0, insbesondere Govern- und Protect-Ergebnisse fuer Identitaet, Zugriff, Lieferkette, Monitoring und Risikomanagement.

Wenn dieser Artikel Frontier-Themen wie Selbstreplikation, Widerstand gegen
Abschaltung oder autonome Ressourcenbeschaffung nennt, sollten sie als
systemische Risikoindikatoren aus KI-Sicherheitsforschung und Advanced-System-
Evaluierungen verstanden werden, sofern das konkrete System diese Faehigkeiten
nicht tatsaechlich besitzt.

1. Autonomierisiko

Autonomierisiko ist das Risiko, dass ein Agent fuer die jeweilige Auswirkung mit
zu wenig menschlicher Aufsicht handelt.

Das ist der entscheidende Unterschied zwischen einem KI-Assistenten und einem
KI-Agenten. Ein Chatbot kann eine schlechte Antwort geben. Ein autonomer
Workflow-Agent kann eine schlechte Antwort geben und danach handeln.

Verfolgen:

  • Kann der Agent aufgrund eines Triggers oder Hintergrundereignisses handeln?
  • Kann er Mehrschrittaufgaben ohne schrittweise Freigabe ausfuehren?
  • Kann er Kund:innen, Mitarbeitende, Finanzdaten, Vertraege, Infrastruktur,
    Security oder regulierte Prozesse beeinflussen?
  • Kann ein Mensch die Aktion unterbrechen, pausieren, uebersteuern oder
    rueckgaengig machen?

Quellenbasis:

  • Der EU AI Act verlangt in Artikel 14 menschliche Aufsicht fuer Hochrisiko-KI.
  • Das NIST AI RMF verlangt, dass Organisationen KI-Risiken im Kontext steuern,
    abbilden, messen und managen.
  • OWASP Agentic AI behandelt Autonomie, Planung, Fehlanpassung und Ueberlastung
    des Human-in-the-Loop als agentenspezifische Bedrohungsmuster.

2. Tool-Risiko

Tool-Risiko ist das Risiko, dass ein Agent interne oder externe Tools missbraucht.

Tools sind etwa APIs, Datenbanken, Browser, E-Mail, Codeausfuehrung, CRM-
Aktionen, Workflow-Automationen, Ticketsysteme, Dateispeicher, Zahlungssysteme
und Security-Tools.

Verfolgen:

  • Welche Tools darf der Agent aufrufen?
  • Sind Tool-Aufrufe nur lesend oder auch schreibend?
  • Kann das Modell Tool-Parameter auswaehlen?
  • Kann Tool-Output zu neuem Anweisungskontext werden?
  • Sind wirkungsstarke Tools durch Policy und menschliche Freigabe begrenzt?

Quellenbasis:

  • OWASP Agentic AI umfasst direkt Tool Misuse, Codeausfuehrungsangriffe und
    unsichere Inter-Agent-Protokolle.
  • OWASP LLM Top 10 umfasst Excessive Agency und Insecure Output Handling.
  • NIST CSF 2.0 liefert die Security-Kontrollsprache fuer Zugriff, Schutz,
    Erkennung, Reaktion und Wiederherstellung.

3. Berechtigungsrisiko

Berechtigungsrisiko ist das Risiko, dass der Agent auf mehr zugreifen oder mehr
tun kann, als er sollte.

Agenten nutzen haeufig geerbte Benutzerrechte, delegierte OAuth-Scopes,
Service Accounts, Konnektoridentitaeten oder Plattformberechtigungen. Dadurch
entsteht ein klassisches Zugriffskontrollproblem in neuer Form.

Verfolgen:

  • Nutzt der Agent eine benannte Identitaet?
  • Hat er Least-Privilege-Zugriff?
  • Nutzt er geteilte Zugangsdaten oder breite Service Accounts?
  • Kann er Aktionen ausfuehren, die der anfragende Nutzer nicht direkt ausfuehren koennte?
  • Kann er Tenants, Abteilungen, Umgebungen oder Vertrauensgrenzen ueberschreiten?

Spezifische Bedrohungen sind Privilege Escalation, Credential Theft und
Confused-Deputy-Verhalten.

Quellenbasis:

  • OWASP Agentic AI behandelt Identity Compromise, Spoofing, Confused Deputy und
    Autorisierungsrisiken.
  • NIST CSF PR.AA behandelt Identitaetsmanagement, Authentifizierung und Zugriffskontrolle.
  • GDPR Artikel 32 ist relevant, wenn uebermaessige Rechte personenbezogene Daten offenlegen.

4. Prompt-Injection-Risiko

Prompt-Injection-Risiko ist das Risiko, dass der Agent boesartigen, versteckten,
widerspruechlichen oder nicht vertrauenswuerdigen Anweisungen folgt.

Bei Agenten ist Prompt Injection gefaehrlicher als eine schlechte Antwort, weil
der Agent die boesartige Anweisung in eine Handlung uebersetzen kann.

Verfolgen:

  • Liest der Agent nicht vertrauenswuerdige E-Mails, Webseiten, Tickets, PDFs,
    Dokumente oder Chat-Nachrichten?
  • Werden abgerufene Dokumente im selben Kontext wie Systemanweisungen genutzt?
  • Koennen Nutzer, Kund:innen, Lieferanten oder Angreifer Tool-Argumente beeinflussen?
  • Werden Tool-Aufrufe ausserhalb des Modells durch Policy begrenzt?

Quellenbasis:

  • OWASP LLM Top 10 nennt Prompt Injection als zentrales LLM-Anwendungsrisiko.
  • OWASP Agentic AI erweitert dies zu Tool Misuse, Goal Manipulation und
    Agent-Communication Poisoning.
  • Viele Prompt-Injection-Warnungen stammen aus Sicherheitsforschung und
    Feldberichten. Behandle sie als Risikoindikatoren, nicht automatisch als
    gesetzliche Anforderungen.

5. Gedaechtnisrisiko

Gedaechtnisrisiko ist das Risiko, dass ein Agent Kontext unangemessen speichert,
leakt, vergiftet oder wiederverwendet.

Memory macht Agenten nuetzlicher. Es schafft aber auch eine Persistenzschicht,
die Angreifer und Unfaelle ausnutzen koennen.

Verfolgen:

  • Was erinnert der Agent?
  • Wer darf in das Gedaechtnis schreiben?
  • Wer darf es lesen?
  • Kann Memory spaetere Tool-Nutzung beeinflussen?
  • Wird Memory geloescht, wenn der urspruengliche Zweck entfaellt?
  • Werden sensible Informationen vor der Speicherung gefiltert?

Spezifische Bedrohungen sind Memory Poisoning und langfristige Lecks von
personenbezogenem, vertraulichem oder privilegiertem Kontext.

Quellenbasis:

  • OWASP Agentic AI nennt Memory Poisoning als eigene Bedrohung.
  • NIST AI 600-1 behandelt Data Privacy und Information Integrity.
  • GDPR Artikel 5 und 32 gelten, wenn personenbezogene Daten gespeichert,
    aufbewahrt oder wiederverwendet werden.

6. Datenexpositionsrisiko

Datenexpositionsrisiko ist das Risiko, dass der Agent sensible Daten unsicher
abruft, offenlegt, zusammenfasst, transformiert oder sendet.

Der Agent muss keine Datenbanktabelle direkt leaken. Er kann sensible Teile in
eine Chat-Nachricht, einen E-Mail-Entwurf, ein Support-Ticket, eine exportierte
Datei oder einen API-Payload zusammenfassen.

Verfolgen:

  • Auf welche Datenquellen kann der Agent zugreifen?
  • Welche Daten kann er kombinieren?
  • Kann er Daten in weniger geschuetzte Kanaele verschieben?
  • Kann er Daten an Drittanbieter-Tools oder externe Nutzer senden?
  • Sind personenbezogene Daten, Zugangsdaten, Vertraege, Quellcode, HR-Daten,
    Finanzdaten oder Security-Logs betroffen?

Quellenbasis:

  • OWASP LLM Top 10 umfasst Sensitive Information Disclosure.
  • OWASP Agentic AI umfasst Exfiltrationsszenarien ueber Tools, Rogue Agents und
    Multi-Agent-Systeme.
  • GDPR Artikel 5, 32 und 33 gelten, wenn personenbezogene Daten verarbeitet oder
    verletzt werden.
  • EU AI Act Artikel 10 gilt fuer Data Governance bei Hochrisiko-KI-Systemen.

7. Planungsrisiko

Planungsrisiko ist das Risiko, dass ein Agent einen fehlerhaften Mehrschrittplan
erstellt, der lokal plausibel wirkt, aber global scheitert.

Das ist nicht nur Halluzination. Ein Plan kann aus einzeln plausiblen Schritten
bestehen und trotzdem gegen Policies verstossen, Abhaengigkeiten uebersehen,
Kosten erzeugen, ein Team ueberlasten oder den falschen Prozess ausloesen.

Verfolgen:

  • Kann der Agent Ziele in Teilziele zerlegen?
  • Kann er Plaene anhand von Zwischenergebnissen ueberarbeiten?
  • Optimiert er Aufgabenerledigung staerker als Policy, Sicherheit, Budget oder
    Geschaeftsgrenzen?
  • Werden Plaene vor wirkungsstarker Ausfuehrung geprueft?

Quellenbasis:

  • OWASP Agentic AI umfasst Intent Breaking, Goal Manipulation sowie misaligned
    oder deceptive behavior.
  • NIST AI 600-1 behandelt Confabulation, Information Integrity und Human-AI
    Configuration.
  • EU AI Act Artikel 9, 13 und 14 sind fuer Hochrisiko-Systeme relevant, weil
    Risikomanagement, Transparenz und menschliche Aufsicht eingebaut sein muessen.

8. Delegationsrisiko

Delegationsrisiko ist das Risiko, dass der Agent Arbeit ohne klare Kontrolle an
andere Agenten, Aufgaben, Tools oder Workflows uebergibt.

Multi-Agent-Systeme erschweren Verantwortlichkeit. Ein Koordinator-Agent kann
eine Aufgabe erstellen, ein Spezialagent ein Tool aufrufen, ein weiterer Agent
das Ergebnis zusammenfassen, und ein vierter mit einem Nutzer kommunizieren.

Verfolgen:

  • Welche Agenten duerfen kommunizieren?
  • Sind Agentenidentitaeten authentifiziert?
  • Sind Nachrichten signiert, begrenzt, geloggt und gefiltert?
  • Kann ein Agent einen anderen Agenten dazu bringen, seine Autoritaet zu ueberschreiten?
  • Wer besitzt den End-to-End-Workflow?

Quellenbasis:

  • OWASP Agentic AI umfasst Agent Communication Poisoning, Rogue Agents in
    Multi-Agent Systems, Human Attacks on Multi-Agent Systems und Insecure
    Inter-Agent Protocol Abuse.
  • EU AI Act Artikel 25 ist fuer Verantwortlichkeiten entlang der KI-Wertschoepfungskette relevant.
  • ISO/IEC 42001 ist fuer Managementsystem-Verantwortlichkeiten und Lifecycle-
    Kontrollen relevant.

9. Observability-Risiko

Observability-Risiko ist das Risiko, dass die Organisation nicht rekonstruieren
kann, was passiert ist.

Bei Agenten reichen Logs der finalen Antwort nicht aus. Benoetigt wird der
operative Trace: Trigger, Nutzer, Anweisungsversion, Retrievals, Tool-Aufrufe,
Argumente, Policy-Entscheidungen, Freigaben, Outputs, Aktionen, Fehler,
Retries und Handoffs.

Verfolgen:

  • Koennen Incident Responder die gesamte Ausfuehrung rekonstruieren?
  • Werden Tool-Aufrufe und Argumente geloggt?
  • Werden Freigaben aufgezeichnet?
  • Werden Policy-Ablehnungen aufgezeichnet?
  • Kann abnormales Verhalten erkannt werden?
  • Gibt es einen Kill Switch oder ein Pause-Verfahren?

Quellenbasis:

  • OWASP Agentic AI umfasst Repudiation and Untraceability.
  • Der EU AI Act umfasst Logging, technische Dokumentation, Monitoring,
    Post-Market Monitoring und Korrekturpflichten fuer Hochrisiko-Systeme.
  • NIST AI RMF und NIST CSF unterstuetzen Messung, Monitoring, Reaktion und
    Wiederherstellung als Risikomanagementfunktionen.

10. Verantwortlichkeitsrisiko

Verantwortlichkeitsrisiko ist das Risiko, dass niemand Entscheidungen,
Freigaben, Betrieb, Vorfaelle oder Behebung eindeutig besitzt.

Dieses Risiko wird leicht uebersehen, weil ein Agent zwischen Teams sitzt.
Product besitzt den Use Case. IT besitzt den Konnektor. Security besitzt die
Zugriffskontrolle. Legal besitzt die Policy. Ein Vendor besitzt die Plattform.
Das Business besitzt das Ergebnis.

Verfolgen:

  • Wer ist Business Owner?
  • Wer ist Technical Owner?
  • Wer genehmigt den Produktivbetrieb?
  • Wer genehmigt wirkungsstarke Aktionskategorien?
  • Wer bearbeitet Vorfaelle?
  • Wer akzeptiert Restrisiko?

Quellenbasis:

  • EU AI Act Artikel 16-27 definieren Verantwortlichkeiten von Provider,
    Importer, Distributor, Deployer und weiteren Rollen in der Wertschoepfungskette.
  • ISO/IEC 42001 verlangt Managementsystem-Verantwortlichkeit und kontinuierliche Verbesserung.
  • Die NIST AI RMF Govern-Funktion betont organisatorische Rollen, Policies,
    Prozesse und Aufsicht.

11. Compliance-Risiko

Compliance-Risiko ist das Risiko, dass der Agent rechtliche, regulatorische,
vertragliche, sektorale oder interne Policy-Anforderungen verletzt.

Das ist nicht nur eine AI-Act-Frage. Je nach Use Case kann Agentenrisiko
Datenschutz, Arbeitsrecht, Finanzdienstleistungen, Gesundheit, Verbraucherschutz,
Cybersicherheit, Vertraege, Aufbewahrungspflichten, Sektorregulierung und
interne Policies beruehren.

Verfolgen:

  • Ist der Use Case hochriskant oder reguliert?
  • Verarbeitet der Agent personenbezogene Daten?
  • Beeinflusst er Rechte, Zugriff, Beschaeftigung, Kredit, Bildung, Gesundheit,
    Sicherheit oder rechtliche Ergebnisse?
  • Gibt es Dokumentation zu Risikomanagement, Tests, Monitoring, menschlicher
    Aufsicht und Incident Response?
  • Werden Transparenzpflichten erfuellt?

Quellenbasis:

  • EU AI Act Artikel 9-15, 17-20, 26-27 und 50 sind besonders relevant fuer
    Hochrisiko- und Transparenzpflichten.
  • GDPR Artikel 5, 32, 33 und 35 sind relevant, wenn personenbezogene Daten betroffen sind.
  • ISO/IEC 42001 und NIST AI RMF liefern Governance- und Evidenzstrukturen.

12. Geschaeftsprozessrisiko

Geschaeftsprozessrisiko ist das Risiko, dass der Agent direkten operativen
Schaden verursacht.

Hier wird Agent Governance konkret. Eine schlechte Antwort ist ein Problem. Eine
schlechte Antwort, die ein Kundenticket schliesst, eine Rueckerstattung
genehmigt, einen Mitarbeiterdatensatz aendert, Infrastruktur veraendert, einer
Behoerde mailt oder einen Legal-Workflow aktualisiert, ist ein anderes.

Verfolgen:

  • Welchen Prozess kann der Agent beeinflussen?
  • Kann die Aktion rueckgaengig gemacht werden?
  • Kann der Agent skaliert handeln?
  • Kann er ausserhalb der Arbeitszeiten handeln?
  • Kann er Menschen beeinflussen, die folgenschwere Entscheidungen treffen?
  • Gibt es bestehende Prozesskontrollen, die der Agent umgeht?

Quellenbasis:

  • OWASP Agentic AI umfasst Human Manipulation, Overwhelming Human in the Loop,
    Misaligned Behavior und Tool Misuse.
  • NIST AI 600-1 behandelt Human-AI Configuration, Confabulation, Harmful Bias
    und Information Integrity.
  • EU AI Act Artikel 14 und 26 sind relevant, wenn der Agent Teil eines
    Hochrisiko-Deployments ist und menschliche Aufsicht oder Betreiberpflichten gelten.

Spezifische Bedrohungen fuer das Register

Die 12 Risiken sind die einfache Unternehmenssprache. Ein Risikoregister sollte
auch die spezifischere Bedrohungsklasse erfassen.

Spezifische Bedrohung Primaere Domaene Quellenbasis
Privilege escalation Zugriffskontrolle OWASP Agentic AI; NIST CSF PR.AA
Credential theft Zugriffskontrolle OWASP Agentic AI identity compromise; NIST CSF PR.AA
Confused deputy Zugriffskontrolle OWASP Agentic AI authorization and identity patterns
Goal misalignment Agentenverhalten OWASP Agentic AI intent breaking and misaligned behavior; NIST AI RMF
Policy drift Governance ISO/IEC 42001 continual improvement; EU AI Act quality management and change management concepts
Hallucination / confabulation Ausgabequalitaet NIST AI 600-1; OWASP LLM Top 10 Overreliance
Bias and toxicity Ausgabequalitaet NIST AI 600-1 Harmful Bias; EU AI Act Article 10 for high-risk data governance
API integration failure Tool-Missbrauch und Zuverlaessigkeit OWASP Agentic AI tool misuse; NIST CSF Protect, Detect, Respond
Supply-chain vulnerabilities Governance und Tool-Missbrauch OWASP Agentic AI supply-chain risk; OWASP LLM Top 10 Supply Chain Vulnerabilities
Uncontrolled resource consumption Zuverlaessigkeit OWASP LLM Top 10 Unbounded Consumption; NIST AI 600-1 environmental and cost impacts
Sensitive data exposure Datenschutz OWASP LLM Top 10 Sensitive Information Disclosure; GDPR
Data exfiltration channel Datenschutz und Tool-Missbrauch OWASP Agentic AI exfiltration scenarios; MITRE ATLAS exfiltration techniques
Unsafe actuation Agentenverhalten EU AI Act human oversight; OWASP Agentic AI tool misuse
Human manipulation Agentenverhalten OWASP Agentic AI Human Manipulation; NIST AI 600-1 Human-AI Configuration
Opaque reasoning Observability OWASP Agentic AI Repudiation and Untraceability; EU AI Act logging and transparency obligations
Data and memory poisoning Datenschutz, Qualitaet, Zuverlaessigkeit OWASP Agentic AI Memory Poisoning; MITRE ATLAS poisoning techniques; NIST AI 600-1 information integrity

Was Unternehmen verfolgen sollten

Der praktische Schritt ist, beides zu erfassen:

  1. Die Bedrohungsklasse.
  2. Die Geschaeftskontrolle, die ausfaellt.

Beispiel:

  • "Prompt injection" ist eine Bedrohungsklasse.
  • "Der Customer-Support-Agent kann Rueckerstattungen ohne Policy-Validierung
    ausloesen" ist eine ausgefallene Geschaeftskontrolle.

Dieser zweite Satz macht die Taxonomie operativ.

Mindestens sollte jeder Registereintrag erfassen:

  • Agentenname und Owner
  • Geschaeftsprozess
  • Agentenlevel und Autonomieniveau
  • Tools, Datenquellen, Memory Stores und delegierte Agenten
  • Risikodomaene und spezifische Bedrohungsklasse
  • Referenzquelle
  • Bedrohungsszenario
  • Fehlende oder ausgefallene Kontrolle
  • Wahrscheinlichkeit, Auswirkung, Autonomie, Datensensitivitaet, Tool-Kritikalitaet und Observability-Scores
  • Erforderliche menschliche Freigabepunkte
  • Evidenzort
  • Owner des Restrisikos
  • Review-Trigger und naechstes Review-Datum

Systemische Indikatoren beobachten

Die meisten heutigen Unternehmensagenten haben keine Frontier-Autonomie. Einige
systemische Indikatoren sind trotzdem wichtig, weil sie zeigen, wann ein
gewoehnlicher Workflow-Agent in eine gefaehrlichere Kategorie driftet.

Achten Sie auf:

  • Unbeabsichtigte Zielverfolgung
  • Unautorisierte Privilege Escalation
  • Autonome Ressourcenbeschaffung
  • Versuche, Zugriff zu bewahren oder Abschaltung zu widerstehen
  • Selbstreplikation oder nicht autorisierte Agentenerstellung
  • Multi-Agent-Misinformation-Loops
  • Retry-Stuerme, wiederholte Tool-Aufrufe, Kostenspitzen oder Quota-Erschoepfung
  • Neue oder unerwartete Datenexfiltrationspfade

Diese Indikatoren stammen nicht alle aus einem einzigen Rechtsrahmen. Sie sind
besser als Risikosignale aus KI-Sicherheitsforschung, adversarial testing und
Advanced-Agent-Evaluierungen zu verstehen. Wenn sie in einem realen
Unternehmenssystem auftreten, sollten sie eine sofortige Pruefung ausloesen.

Die praktische Regel

Bleiben Sie nicht bei "dieser Agent hat Autonomierisiko" oder "dieser Agent hat
Prompt-Injection-Risiko" stehen.

Formulieren Sie die operative Version:

Dieser Agent kann Lieferanten-E-Mails lesen, Vertragsaenderungen extrahieren
und Freigaben routen. Eine boesartige Lieferanten-E-Mail koennte Anweisungen
injizieren, die den Agenten dazu bringen, eine Vertragsaenderung falsch zu
klassifizieren und Legal Review zu umgehen.

Jetzt laesst sich das steuern.

Sie koennen einen Owner zuweisen. Sie koennen eine Kontrolle verlangen. Sie
koennen den Fehler testen. Sie koennen Evidenz loggen. Sie koennen entscheiden,
ob das Restrisiko akzeptabel ist.

Dafuer ist eine Agenten-Risikotaxonomie da.

Praktisches Asset

Das begleitende GitHub-Framework enthaelt:

Nutzen Sie die Taxonomie, um das Risiko zu benennen. Nutzen Sie das Register,
um Ownership zuzuweisen. Nutzen Sie das Scoring-Modell, um zu entscheiden,
welche Kontrollen vor dem Produktivbetrieb vorhanden sein muessen.