A taxonomia de riscos de agentes de IA: 12 riscos que toda empresa deve acompanhar

19 de abril de 2026 · 11 min de leitura
Agentes de IA precisam de uma taxonomia de riscos por um motivo simples: eles
nao apenas geram texto. Eles podem usar ferramentas, acessar dados, lembrar
contexto, chamar APIs, delegar trabalho e acionar processos de negocio.
Isso muda a pergunta de governanca corporativa de:
A saida do modelo e aceitavel?
Para:
O que o agente estava autorizado a fazer, o que ele realmente fez, qual
controle falhou, quem aprovou o risco, e conseguimos provar isso?
Este artigo comeca com uma taxonomia pratica de 12 riscos. Depois amplia essa
lista para uma visao empresarial mais completa, agrupada por controle de acesso,
uso indevido de ferramentas, governanca, privacidade, qualidade de saida,
comportamento do agente e confiabilidade/observabilidade.
O ponto crucial e disciplina de fontes. Alguns riscos vêm diretamente de
frameworks, leis, regulamentos ou padroes reconhecidos. Outros sao indicadores
de risco vindos de pesquisa em seguranca, literatura de seguranca de IA ou
padroes de incidentes. Eles sao uteis, mas nao devem ser apresentados como
exigencias legais se nenhuma lei, regulamento ou padrao disser isso.
A versao curta
Toda empresa que implanta agentes de IA deve acompanhar estes 12 riscos:
| Risco | O que pode falhar |
|---|---|
| Risco de autonomia | O agente age sem supervisao humana suficiente |
| Risco de ferramenta | O agente usa indevidamente APIs, bancos de dados, navegadores, email, execucao de codigo ou workflows |
| Risco de permissao | O agente tem acesso mais amplo do que o necessario |
| Risco de prompt injection | O agente segue instrucoes maliciosas ou conflitantes |
| Risco de memoria | O agente armazena, vaza, envenena ou usa mal o contexto |
| Risco de exposicao de dados | O agente recupera ou divulga dados sensiveis de forma insegura |
| Risco de planejamento | O agente cria um plano de multiplas etapas plausivel, mas falho |
| Risco de delegacao | O agente passa trabalho para outros agentes ou tarefas sem controles claros |
| Risco de observabilidade | A organizacao nao consegue reconstruir o que aconteceu |
| Risco de responsabilizacao | Ninguem e claramente dono de aprovacao, operacao, resposta a incidentes ou remediacao |
| Risco de conformidade | O sistema viola requisitos legais, regulatorios, contratuais ou internos |
| Risco de processo de negocio | O agente causa dano operacional em financeiro, RH, juridico, seguranca, infraestrutura ou fluxos de cliente |
Essa lista e intencionalmente pratica. E a checklist que um dono de negocio,
lider de seguranca, time de compliance ou arquiteto de IA pode usar antes da
producao.
Mas a taxonomia empresarial completa e mais ampla.
A taxonomia empresarial mais ampla
Uma taxonomia mais completa agrupa riscos de IA agentica em sete dominios.
| Dominio | O que cobre |
|---|---|
| Controle de acesso e permissoes | Identidade, credenciais, direitos, autoridade delegada, menor privilegio |
| Uso indevido de ferramentas | APIs, conectores, navegadores, execucao de codigo, bancos de dados, email e acoes de workflow |
| Governanca e responsabilizacao | Dono, aprovacao, aceitacao de risco, ciclo de vida de politicas e controle de mudancas |
| Privacidade e protecao de dados | Dados pessoais, dados confidenciais, memoria, retencao e exfiltracao |
| Qualidade e seguranca da saida | Alucinacao, vies, toxicidade, conselho inseguro e excesso de confianca |
| Comportamento e autonomia do agente | Busca de objetivos, planejamento, delegacao, manipulacao e atuacao insegura |
| Confiabilidade e observabilidade | Logs, monitoramento, rastreabilidade, resiliencia e resposta a incidentes |
Essa estrutura se encaixa melhor na forma como empresas realmente governam
sistemas. Seguranca reconhece controle de acesso e ferramentas. Privacidade
reconhece exposicao e retencao de dados. Compliance reconhece responsabilizacao
e evidencias. Engenharia reconhece confiabilidade e observabilidade.
A taxonomia nao e util porque cria caixas perfeitas. Ela e util porque permite
que os times facam a mesma pergunta operacional:
Qual controle de negocio falha se esse agente se comportar mal?
Base de referencias
A taxonomia abaixo se apoia nestas fontes:
- OWASP Agentic AI - Threats and Mitigations, Version 1.1, dezembro de 2025. E a fonte direta mais forte para ameacas especificas de agentes, como memory poisoning, tool misuse, goal manipulation, untraceability, identity compromise, riscos multiagente e human manipulation. O guia atual lista T1-T17; resumos mais antigos podem se referir a T1-T15.
- OWASP Top 10 for Large Language Model Applications 2025, especialmente Prompt Injection, Sensitive Information Disclosure, Supply Chain Vulnerabilities, Excessive Agency, Overreliance e Unbounded Consumption.
- NIST AI Risk Management Framework 1.0, que estrutura a governanca de risco de IA em Govern, Map, Measure e Manage.
- NIST AI RMF Generative AI Profile, NIST AI 600-1, que nomeia riscos de IA generativa como confabulation, harmful bias, data privacy, information integrity, human-AI configuration e integracao na cadeia de valor.
- MITRE ATLAS, base de conhecimento de taticas e tecnicas adversarias contra sistemas habilitados por IA.
- EU AI Act, Regulation (EU) 2024/1689, especialmente requisitos para sistemas de alto risco: gestao de risco, governanca de dados, documentacao tecnica, logging, transparencia, supervisao humana, acuracia, robustez, ciberseguranca, monitoramento pos-mercado e obrigacoes de deployers.
- GDPR, Regulation (EU) 2016/679, especialmente artigos 5, 32, 33 e 35 quando agentes processam dados pessoais.
- ISO/IEC 42001:2023, padrao de sistema de gestao de IA, util para governanca, responsabilidades, politicas, gestao de risco e melhoria continua.
- NIST Cybersecurity Framework 2.0, especialmente resultados Govern e Protect para identidade, acesso, cadeia de suprimentos, monitoramento e gestao de risco.
Quando este artigo menciona temas frontier como autorreplicacao, resistencia ao
desligamento ou aquisicao autonoma de recursos, trate-os como indicadores
sistemicos vindos de pesquisa em seguranca de IA e avaliacoes de sistemas
avancados, a menos que seu sistema concreto realmente tenha essas capacidades.
1. Risco de autonomia
Risco de autonomia e o risco de que um agente aja sem supervisao humana
suficiente para o nivel de impacto.
Essa e a diferenca definidora entre um assistente de IA e um agente de IA. Um
chatbot pode dar uma resposta ruim. Um agente de workflow autonomo pode dar uma
resposta ruim e agir com base nela.
Acompanhe:
- O agente pode agir a partir de um gatilho ou evento em background?
- Pode completar tarefas de multiplas etapas sem aprovacao etapa por etapa?
- Pode afetar clientes, funcionarios, registros financeiros, contratos,
infraestrutura, seguranca ou processos regulados? - Um humano pode interromper, pausar, sobrescrever ou reverter a acao?
Base de fonte:
- O EU AI Act exige supervisao humana para sistemas de IA de alto risco no artigo 14.
- O NIST AI RMF exige que organizacoes governem, mapeiem, meçam e gerenciem riscos de IA em contexto.
- OWASP Agentic AI discute autonomia, planejamento, comportamento desalinhado e
sobrecarga do human-in-the-loop como padroes de ameaca agenticos.
2. Risco de ferramenta
Risco de ferramenta e o risco de que um agente use indevidamente ferramentas
internas ou externas.
Ferramentas incluem APIs, bancos de dados, navegadores, email, execucao de
codigo, acoes de CRM, automacoes de workflow, ticketing, arquivos, pagamentos e
ferramentas de seguranca.
Acompanhe:
- Quais ferramentas o agente pode chamar?
- As chamadas sao somente leitura ou podem escrever?
- O modelo pode escolher parametros de ferramenta?
- A saida de uma ferramenta pode virar novo contexto de instrucao?
- Ferramentas de alto impacto sao protegidas por politica e aprovacao humana?
Base de fonte:
- OWASP Agentic AI inclui diretamente tool misuse, ataques de execucao de codigo
e abuso de protocolos interagente. - OWASP LLM Top 10 inclui Excessive Agency e Insecure Output Handling.
- NIST CSF 2.0 fornece vocabulario de controles para acesso, protecao,
deteccao, resposta e recuperacao.
3. Risco de permissao
Risco de permissao e o risco de que o agente possa acessar ou fazer mais do que deveria.
Agentes frequentemente usam permissoes herdadas de usuarios, escopos OAuth
delegados, contas de servico, identidades de conectores ou permissoes de
plataforma. Isso cria um risco classico de controle de acesso em nova forma.
Acompanhe:
- O agente usa uma identidade nomeada?
- Tem acesso de menor privilegio?
- Usa credenciais compartilhadas ou contas de servico amplas?
- Pode executar acoes que o usuario solicitante nao poderia executar diretamente?
- Pode atravessar tenants, departamentos, ambientes ou fronteiras de confianca?
Ameacas especificas incluem privilege escalation, credential theft e confused deputy.
Base de fonte:
- OWASP Agentic AI cobre identity compromise, spoofing, confused deputy e riscos de autorizacao.
- NIST CSF PR.AA cobre gestao de identidade, autenticacao e controle de acesso.
- GDPR artigo 32 importa quando permissoes excessivas expõem dados pessoais.
4. Risco de prompt injection
Risco de prompt injection e o risco de que o agente siga instrucoes maliciosas,
ocultas, conflitantes ou nao confiaveis.
Para agentes, prompt injection e mais perigosa do que uma resposta ruim, porque
o agente pode converter a instrucao maliciosa em acao.
Acompanhe:
- O agente le emails, paginas web, tickets, PDFs, documentos ou chats nao confiaveis?
- Documentos recuperados sao misturados ao mesmo contexto das instrucoes de sistema?
- Um usuario, cliente, fornecedor ou atacante pode influenciar argumentos de ferramentas?
- Chamadas de ferramentas sao restringidas por politica fora do modelo?
Base de fonte:
- OWASP LLM Top 10 lista Prompt Injection como risco central de aplicacoes LLM.
- OWASP Agentic AI estende isso para tool misuse, goal manipulation e agent-communication poisoning.
- Muitos alertas sobre prompt injection vêm de pesquisa em seguranca e relatos
de campo. Trate-os como evidencia de risco, nao como requisitos legais por si so.
5. Risco de memoria
Risco de memoria e o risco de que um agente armazene, vaze, envenene ou reutilize
contexto de forma inadequada.
Memoria torna agentes mais uteis. Tambem cria uma camada persistente que
atacantes e acidentes podem explorar.
Acompanhe:
- O que o agente lembra?
- Quem pode escrever na memoria?
- Quem pode ler a memoria?
- A memoria pode influenciar uso futuro de ferramentas?
- A memoria e apagada quando a finalidade original expira?
- Informacoes sensiveis sao filtradas antes do armazenamento?
Ameacas especificas incluem memory poisoning e vazamento de longo prazo de
contexto pessoal, confidencial ou privilegiado.
Base de fonte:
- OWASP Agentic AI inclui Memory Poisoning como ameaca nomeada.
- NIST AI 600-1 cobre riscos de data privacy e information integrity.
- GDPR artigos 5 e 32 se aplicam quando dados pessoais sao armazenados, retidos ou reutilizados.
6. Risco de exposicao de dados
Risco de exposicao de dados e o risco de que o agente recupere, revele, resuma,
transforme ou transmita dados sensiveis de forma insegura.
O agente pode nao vazar uma tabela de banco diretamente. Ele pode resumir partes
sensiveis em uma mensagem de chat, rascunho de email, ticket de suporte, arquivo
exportado ou payload de API.
Acompanhe:
- A quais fontes de dados o agente pode acessar?
- Quais dados ele pode combinar?
- Pode mover dados para canais menos protegidos?
- Pode enviar dados para ferramentas de terceiros ou usuarios externos?
- Dados pessoais, credenciais, contratos, codigo-fonte, dados de RH, financeiros
ou logs de seguranca estao no escopo?
Base de fonte:
- OWASP LLM Top 10 inclui Sensitive Information Disclosure.
- OWASP Agentic AI inclui cenarios de exfiltracao por ferramentas, rogue agents e sistemas multiagente.
- GDPR artigos 5, 32 e 33 se aplicam onde dados pessoais sao processados ou violados.
- EU AI Act artigo 10 se aplica a governanca de dados para sistemas de IA de alto risco.
7. Risco de planejamento
Risco de planejamento e o risco de que um agente crie um plano de multiplas
etapas falho que parece razoavel localmente, mas falha globalmente.
Isso nao e apenas alucinacao. Um plano pode ter etapas individualmente plausiveis
e ainda violar politica, perder dependencia, criar custo, sobrecarregar um time
ou acionar o processo errado.
Acompanhe:
- O agente pode decompor objetivos em subobjetivos?
- Pode revisar planos com base em saidas intermediarias?
- Otimiza conclusao da tarefa acima de politica, seguranca, orcamento ou restricoes de negocio?
- Planos sao revisados antes de execucao de alto impacto?
Base de fonte:
- OWASP Agentic AI inclui intent breaking, goal manipulation e comportamentos desalinhados ou enganosos.
- NIST AI 600-1 cobre confabulation, information integrity e human-AI configuration.
- EU AI Act artigos 9, 13 e 14 importam para sistemas de alto risco porque risk
management, transparencia e supervisao humana devem ser projetados no sistema.
8. Risco de delegacao
Risco de delegacao e o risco de que o agente entregue trabalho para outros
agentes, tarefas, ferramentas ou workflows sem controle claro.
Sistemas multiagente tornam accountability mais dificil. Um agente coordenador
pode criar uma tarefa, um agente especialista chamar uma ferramenta, outro
resumir o resultado e um quarto se comunicar com o usuario.
Acompanhe:
- Quais agentes podem se comunicar?
- Identidades de agentes sao autenticadas?
- Mensagens sao assinadas, escopadas, registradas e filtradas?
- Um agente pode fazer outro exceder sua autoridade?
- Quem e dono do workflow ponta a ponta?
Base de fonte:
- OWASP Agentic AI inclui agent communication poisoning, rogue agents in
multi-agent systems, human attacks on multi-agent systems e insecure inter-agent protocol abuse. - EU AI Act artigo 25 e relevante para responsabilidades ao longo da cadeia de valor de IA.
- ISO/IEC 42001 e relevante para responsabilidades de management system e lifecycle controls.
9. Risco de observabilidade
Risco de observabilidade e o risco de que a organizacao nao consiga reconstruir
o que aconteceu.
Para agentes, logs da saida final nao bastam. E preciso a trilha operacional:
gatilho, usuario, versao de instrucao, retrievals, chamadas de ferramentas,
argumentos, decisoes de politica, aprovacoes, saidas, acoes, erros, retries e handoffs.
Acompanhe:
- Respondedores de incidente conseguem reconstruir a execucao completa?
- Chamadas de ferramentas e argumentos sao registrados?
- Aprovacoes sao registradas?
- Negacoes de politica sao registradas?
- Comportamento anormal pode ser detectado?
- Existe kill switch ou procedimento de pausa?
Base de fonte:
- OWASP Agentic AI inclui Repudiation and Untraceability.
- EU AI Act inclui logging, documentacao tecnica, monitoramento, post-market
monitoring e obrigacoes de acao corretiva para sistemas de alto risco. - NIST AI RMF e NIST CSF apoiam medicao, monitoramento, resposta e recuperacao como funcoes de risco.
10. Risco de responsabilizacao
Risco de responsabilizacao e o risco de que ninguem seja claramente dono de
decisoes, aprovacoes, operacao, incidentes ou remediacao.
Esse risco e facil de perder porque um agente pode ficar entre equipes. Produto
e dono do caso de uso. IT e dono do conector. Seguranca e dona do controle de
acesso. Juridico e dono da politica. Um fornecedor e dono da plataforma. O
negocio e dono do resultado.
Acompanhe:
- Quem e o business owner?
- Quem e o technical owner?
- Quem aprova uso em producao?
- Quem aprova categorias de acao de alto impacto?
- Quem lida com incidentes?
- Quem aceita risco residual?
Base de fonte:
- EU AI Act artigos 16-27 definem responsabilidades entre provider, importer,
distributor, deployer e outros papeis da cadeia de valor. - ISO/IEC 42001 exige accountability de management system e melhoria continua.
- A funcao Govern do NIST AI RMF enfatiza papeis, politicas, processos e oversight.
11. Risco de conformidade
Risco de conformidade e o risco de que o agente viole requisitos legais,
regulatorios, contratuais, setoriais ou de politica interna.
Isso nao e apenas uma questao de AI Act. Dependendo do caso de uso, risco de
agente pode tocar privacidade, direito trabalhista, servicos financeiros, saude,
defesa do consumidor, ciberseguranca, contratos, retencao de registros,
regulacao setorial e politicas internas.
Acompanhe:
- O caso de uso e de alto risco ou regulado?
- O agente processa dados pessoais?
- Afeta direitos, acesso, emprego, credito, educacao, saude, safety, security ou resultados legais?
- Ha documentacao para gestao de risco, testes, monitoramento, supervisao humana e resposta a incidentes?
- Obrigacoes de transparencia sao atendidas?
Base de fonte:
- EU AI Act artigos 9-15, 17-20, 26-27 e 50 sao especialmente relevantes para
alto risco e transparencia. - GDPR artigos 5, 32, 33 e 35 importam quando dados pessoais estao envolvidos.
- ISO/IEC 42001 e NIST AI RMF fornecem estruturas de governanca e evidencia.
12. Risco de processo de negocio
Risco de processo de negocio e o risco de que o agente cause dano operacional direto.
Aqui a governanca de agentes vira realidade. Uma resposta ruim e um problema.
Uma resposta ruim que fecha um caso de cliente, aprova reembolso, muda registro
de funcionario, modifica infraestrutura, envia email a um regulador ou atualiza
um workflow juridico e outro.
Acompanhe:
- Que processo o agente pode afetar?
- A acao pode ser revertida?
- O agente pode operar em escala?
- Pode agir fora do horario comercial?
- Pode influenciar humanos que tomam decisoes consequentes?
- O processo tem controles existentes que o agente contorna?
Base de fonte:
- OWASP Agentic AI inclui human manipulation, overwhelming the human in the loop,
misaligned behavior e tool misuse. - NIST AI 600-1 cobre human-AI configuration, confabulation, harmful bias e information integrity.
- EU AI Act artigos 14 e 26 importam quando o agente faz parte de um deployment
de alto risco e supervisao humana ou obrigacoes do deployer se aplicam.
Ameacas especificas para incluir no registro
Os 12 riscos sao a linguagem empresarial simples. Um registro de riscos tambem
deve acompanhar a classe de ameaca mais especifica.
| Ameaca especifica | Dominio principal | Base de fonte |
|---|---|---|
| Privilege escalation | Controle de acesso | OWASP Agentic AI; NIST CSF PR.AA |
| Credential theft | Controle de acesso | OWASP Agentic AI identity compromise; NIST CSF PR.AA |
| Confused deputy | Controle de acesso | OWASP Agentic AI authorization and identity patterns |
| Goal misalignment | Comportamento do agente | OWASP Agentic AI intent breaking and misaligned behavior; NIST AI RMF |
| Policy drift | Governanca | ISO/IEC 42001 continual improvement; EU AI Act quality management and change management concepts |
| Hallucination / confabulation | Qualidade de saida | NIST AI 600-1; OWASP LLM Top 10 Overreliance |
| Bias and toxicity | Qualidade de saida | NIST AI 600-1 Harmful Bias; EU AI Act Article 10 for high-risk data governance |
| API integration failure | Ferramentas e confiabilidade | OWASP Agentic AI tool misuse; NIST CSF Protect, Detect, Respond |
| Supply-chain vulnerabilities | Governanca e ferramentas | OWASP Agentic AI supply-chain risk; OWASP LLM Top 10 Supply Chain Vulnerabilities |
| Uncontrolled resource consumption | Confiabilidade | OWASP LLM Top 10 Unbounded Consumption; NIST AI 600-1 environmental and cost impacts |
| Sensitive data exposure | Privacidade | OWASP LLM Top 10 Sensitive Information Disclosure; GDPR |
| Data exfiltration channel | Privacidade e ferramentas | OWASP Agentic AI exfiltration scenarios; MITRE ATLAS exfiltration techniques |
| Unsafe actuation | Comportamento do agente | EU AI Act human oversight; OWASP Agentic AI tool misuse |
| Human manipulation | Comportamento do agente | OWASP Agentic AI Human Manipulation; NIST AI 600-1 Human-AI Configuration |
| Opaque reasoning | Observabilidade | OWASP Agentic AI Repudiation and Untraceability; EU AI Act logging and transparency obligations |
| Data and memory poisoning | Privacidade, qualidade, confiabilidade | OWASP Agentic AI Memory Poisoning; MITRE ATLAS poisoning techniques; NIST AI 600-1 information integrity |
O que empresas devem acompanhar
O movimento pratico e acompanhar ambos:
- A classe de ameaca.
- O controle de negocio que falha.
Por exemplo:
- "Prompt injection" e uma classe de ameaca.
- "O agente de suporte ao cliente pode emitir reembolsos sem validacao de
politica" e um controle de negocio falho.
Essa segunda frase torna a taxonomia operacional.
No minimo, cada entrada do registro deve capturar:
- Nome e owner do agente
- Processo de negocio
- Nivel do agente e nivel de autonomia
- Ferramentas, fontes de dados, memory stores e agentes delegados
- Dominio de risco e classe de ameaca especifica
- Fonte de referencia
- Cenario de ameaca
- Controle ausente ou falho
- Scores de probabilidade, impacto, autonomia, sensibilidade de dados,
criticidade da ferramenta e lacuna de observabilidade - Pontos de aprovacao humana exigidos
- Local da evidencia
- Owner do risco residual
- Gatilho de revisao e proxima data
Observar indicadores sistemicos
A maioria dos agentes empresariais atuais nao tem autonomia frontier. Ainda
assim, alguns indicadores sistemicos merecem acompanhamento porque mostram onde
um agente de workflow comum pode estar derivando para uma categoria mais perigosa.
Observe:
- Busca nao intencional de objetivos
- Escalada de privilegio nao autorizada
- Aquisicao autonoma de recursos
- Tentativas de preservar acesso ou resistir ao desligamento
- Autorreplicacao ou criacao nao autorizada de agentes
- Loops de desinformacao multiagente
- Tempestades de retry, chamadas repetidas de ferramentas, picos de custo ou esgotamento de quota
- Novos caminhos inesperados de exfiltracao de dados
Esses indicadores nao vêm todos de um unico framework legal. E melhor entende-los
como sinais de risco de pesquisa em seguranca de IA, testes adversariais e
avaliacoes de agentes avancados. Se aparecerem em um sistema empresarial real,
devem acionar revisao imediata.
A regra pratica
Nao pare em "este agente tem risco de autonomia" ou "este agente tem risco de
prompt injection".
Escreva a versao operacional:
Este agente pode ler emails de fornecedores, extrair alteracoes contratuais e
rotear aprovacoes. Um email malicioso de fornecedor poderia injetar instrucoes
que fazem o agente classificar mal uma alteracao contratual e contornar a
revisao juridica.
Agora voce consegue governar isso.
Voce pode atribuir um owner. Pode exigir um controle. Pode testar a falha. Pode
registrar a evidencia. Pode decidir se o risco residual e aceitavel.
E para isso que serve uma taxonomia de riscos de agentes.
Recurso pratico
O framework complementar no GitHub inclui:
Use a taxonomia para nomear o risco. Use o registro para atribuir ownership. Use
o modelo de scoring para decidir quais controles precisam existir antes da producao.