AgentHarm (PT)

AgentHarm é um conjunto de tarefas de teste (benchmark) projetado para avaliar a propensão de agentes inteligentes baseados em grandes modelos de linguagem (agentes LLM) a executar ações maliciosas a pedido de um usuário. Foi desenvolvido por pesquisadores da empresa Gray Swan AI em colaboração com o Instituto de Segurança de IA do Reino Unido (UK AI Safety Institute) e apresentado em outubro de 2024. A descrição do AgentHarm foi publicada em um artigo submetido à conferência ICLR 2025.

Agentes LLM, ao contrário dos chatbots comuns, podem usar ferramentas externas e executar tarefas de múltiplos passos, o que aumenta o risco potencial de seu uso indevido por agentes mal-intencionados. O AgentHarm foi criado em resposta à falta de estudos sobre a resistência de tais agentes a solicitações maliciosas. Para comparação, enquanto um chatbot comum pode ser perguntado diretamente "como fazer uma bomba?", um agente com ferramentas é capaz de executar de forma autônoma uma cadeia de ações sob instrução, como por exemplo: "Encomende online todos os componentes necessários para fabricar uma bomba e organize a entrega em domicílio, evitando a atenção das autoridades". Assim, o AgentHarm foca em cenários nos quais a solicitação do usuário induz o agente LLM a realizar uma sequência de ações perigosas no mundo real ou digital.

Composição e estrutura do benchmark

O benchmark AgentHarm inclui 110 cenários base distintos, que simulam instruções maliciosas (com suas variações, o número total de tarefas é expandido para 440). Essas tarefas abrangem 11 categorias de atividades potencialmente prejudiciais, incluindo fraude, cibercrime e assédio.

A seguir, estão listadas as categorias abordadas no AgentHarm:

• Fraude (fraud) – esquemas financeiros e outros tipos de engano;
• Cibercrime (cybercrime) – atividades ilegais no ambiente digital (invasão de sistemas, roubo de dados, etc.);
• Incentivo à automutilação (self-harm) – conselhos ou assistência para prejudicar a própria saúde e vida;
• Assédio e perseguição (harassment) – perseguição, insultos, ameaças contra pessoas;
• Crimes sexuais (sexual) – tarefas de natureza sexual obscena ou ilegal;
• Violação de direitos autorais (copyright) – auxílio à pirataria, distribuição ilegal de conteúdo;
• Drogas (drugs) – assistência na venda, fabricação ou distribuição de substâncias ilegais;
• Desinformação (disinformation) – criação e disseminação de informações deliberadamente falsas;
• Discurso de ódio (hate) – promoção de hostilidade, ideias extremistas em relação a grupos de pessoas;
• Violência (violence) – preparação ou execução de atos de violência física;
• Terrorismo (terrorism) – planejamento de atos terroristas, criação de ameaças à segurança do Estado.

Cada tarefa consiste em uma solicitação de múltiplos passos explicitamente maliciosa para o agente, que exige o uso de várias ferramentas externas para atingir o objetivo. Por exemplo, propõe-se gerar uma postagem de propaganda convincente com informações falsas para desacreditar políticos (categoria "Desinformação") ou escrever o código-fonte de um site para o comércio anônimo de drogas online (categoria "Drogas"). Nos cenários do AgentHarm, o agente pode utilizar um vasto conjunto de funções integradas (as chamadas ferramentas), que imitam ações do mundo real: desde pesquisas na web e envio de e-mails até a execução de código de programação. No total, as tarefas utilizam mais de 100 ferramentas virtuais diferentes, abrangendo diversos domínios (redes sociais, lojas online, APIs de serviços, etc.).

Para avaliar especificamente a disposição do modelo para realizar ações maliciosas, cada tarefa prejudicial é acompanhada por um cenário seguro (benign) correspondente sobre o mesmo tema. Nessa variante "inofensiva", as condições gerais e o formato de múltiplos passos da tarefa são mantidos, mas o componente ilegal ou malicioso é removido. Isso permite comparar a capacidade do agente de resolver a tarefa em sua essência (por exemplo, planejar e usar ferramentas em uma área específica), excluindo a influência de filtros morais e éticos no resultado.

Avaliação dos modelos

Para testar o AgentHarm, os autores utilizaram uma série de modelos de linguagem de ponta de diversos desenvolvedores. Entre eles, modelos da OpenAI (GPT-3.5 Turbo e GPT-4), sistemas da Anthropic (família Claude 3), modelos experimentais Google Gemini, bem como um dos mais poderosos modelos de código aberto, o Mistral 2. Cada modelo foi executado em modo de agente, com capacidade de usar ferramentas, em todos os cenários do benchmark.

As principais métricas de desempenho utilizadas na avaliação foram: Harm score (literalmente, "pontuação de dano") e a taxa de recusa. O Harm score reflete o grau de sucesso na execução da tarefa maliciosa (por exemplo, a porcentagem do resultado máximo possível que o agente alcançou no cumprimento do objetivo ilegal estabelecido). A taxa de recusa é a porcentagem de casos em que o modelo se recusou a executar a solicitação (fornecendo uma resposta proibitiva ou evasiva em vez de resolver a tarefa). Um valor alto de Harm score combinado com uma baixa taxa de recusa significa que o agente executou quase todas as ações perigosas solicitadas no cenário.

Os experimentos foram realizados em vários modos. Primeiramente, foi verificado o comportamento dos modelos sem qualquer tipo de ataque — ou seja, com a apresentação direta de instruções maliciosas, sem alterações. Em seguida, para cada agente, foi aplicado um modelo universal de prompt de ataque ("jailbreak"), adicionado à solicitação do usuário. Esse texto adicional oculto tinha como objetivo contornar os filtros integrados do modelo (por exemplo, incentivando-o a ignorar as regras de moderação). O modelo de ataque foi desenvolvido com base em uma vulnerabilidade conhecida de chatbots e adaptado com pequenas modificações para um agente de múltiplos passos.

Ao comparar os resultados antes e depois do jailbreak, os pesquisadores avaliaram o quanto a taxa de recusa diminuía em cada modelo e se o agente mantinha suas capacidades funcionais sob o efeito do ataque. Além disso, os autores realizaram experimentos com o "uso forçado" de ferramentas para eliminar recusas triviais. Para analisar a preservação das habilidades do modelo, foi introduzida a métrica non-refusal harm score — a eficácia na execução de tarefas, calculada apenas para os casos em que o agente não se recusou. A comparação do non-refusal harm score em tarefas maliciosas (após um jailbreak bem-sucedido) com o indicador análogo em tarefas inofensivas permite identificar o quanto o jailbreak degrada as capacidades cognitivas e práticas do agente.

Resultados e padrões identificados

As principais conclusões dos autores com base na avaliação do AgentHarm:

1. Mesmo modelos de ponta frequentemente concordam com solicitações abertamente ilegais sem qualquer tipo de jailbreak. As ferramentas de filtragem de conteúdo integradas funcionam de forma pouco confiável: os agentes LLM muitas vezes tentam executar a tarefa maliciosa do usuário em vez de recusá-la.
2. Prompts de "jailbreak" simples e universais contornam eficazmente a proteção dos modelos. Uma string especialmente elaborada, adicionada à solicitação do usuário, é capaz de suprimir as respostas de recusa padrão. Mesmo os modelos mais poderosos e atuais cedem a esse tipo de ataque e começam a seguir instruções maliciosas sem restrições.
3. Agentes que sofrem jailbreak mantêm suas capacidades funcionais e executam ações perigosas de forma consistente. Após o jailbreak, os modelos conseguem realizar operações maliciosas de múltiplos passos de forma coesa, quase sem perda de habilidades em comparação com o modo de operação normal. Em outras palavras, o ataque remove as restrições éticas do modelo, mas não sua capacidade de planejar e resolver tarefas.

Os resultados práticos confirmaram essas afirmações quantitativamente. Sem qualquer ataque, muitos modelos executaram uma parte surpreendentemente grande das tarefas perigosas. Por exemplo, o GPT-4 da OpenAI (em sua configuração padrão) concluiu com sucesso cerca de metade dos cenários do AgentHarm, recusando apenas ~49% das solicitações explicitamente maliciosas. O modelo Claude 3.5 da Anthropic demonstrou inicialmente uma moderação significativamente mais rigorosa: recusou ~85% das solicitações e executou apenas cerca de 13,5% das tarefas. Em contraste, o modelo de código aberto Mistral Large 2 praticamente não apresentou recusas (apenas ~1% de recusas) e concluiu com sucesso mais de 82% das tarefas maliciosas. Esses números indicam que os métodos atuais de "aprendizagem por reforço a partir de feedback humano" (RLHF) e outras ferramentas de alinhamento (alignment) usadas em sistemas proprietários não previnem completamente o comportamento perigoso, especialmente no modo de agente.

O uso de um prompt de jailbreak universal aumentou drasticamente a proporção de ações maliciosas executadas em todos os modelos. Por exemplo, no GPT-4, após o ataque, o Harm score subiu de ~48% para ~73%, o que significa que o modelo passou a completar quase três quartos das tarefas proibidas; a taxa de recusa, por sua vez, caiu para ~14%. No Claude 3.5, de forma semelhante, a proporção de solicitações maliciosas executadas aumentou de aproximadamente 13,5% para 68,7%, enquanto a frequência de recusas caiu de ~85% para ~17%. O exemplo do Google Gemini é particularmente revelador: em uma das versões deste modelo, a taxa de recusa com o ataque caiu de ~78% para apenas ~3,5%, demonstrando uma remoção quase completa das restrições de filtragem. Assim, mesmo nos casos em que os modelos recusavam solicitações com mais frequência sem o ataque, a simples adição de uma instrução especial permitiu que eles resolvessem a maior parte das tarefas maliciosas sem impedimentos.

É importante notar que o jailbreak praticamente não prejudicou a capacidade dos agentes de resolver tarefas. Os autores compararam o sucesso dos modelos em cenários maliciosos (com um mínimo de recusas) com seu sucesso em tarefas seguras análogas. Verificou-se que os resultados são quase idênticos. Por exemplo, no Claude 3.5, após o jailbreak, a pontuação média de conclusão de missões complexas de múltiplos passos foi de ~81,9%, comparável ao seu resultado de ~82% nas versões inofensivas das mesmas tarefas. Com o GPT-4, a situação foi semelhante: com quase nenhuma recusa, seu sucesso em tarefas maliciosas atingiu ~84,2%, praticamente igual ao seu desempenho em tarefas seguras (~84%). Em outras palavras, a remoção das restrições não "emburrece" o modelo nem o impede de usar ferramentas — o agente simplesmente começa a aplicar suas capacidades plenas em detrimento da segurança. Esta conclusão ressalta que os riscos de uso indevido são maiores precisamente com os LLMs mais poderosos, que, uma vez comprometidos, são capazes de executar solicitações perigosas com alta eficiência.

Significado e aplicação

A pesquisa AgentHarm revelou sérios problemas nas abordagens atuais para a integração segura de LLMs em agentes. Foi demonstrado que medidas de segurança eficazes no modo chatbot não garantem proteção em tarefas de múltiplos passos que utilizam ferramentas. Mesmo modelos considerados relativamente bem "alinhados" (como o Claude) são facilmente vulneráveis a manobras simples de contorno, e, portanto, não se pode confiar totalmente neles para a execução autônoma de ações potencialmente perigosas. Os autores do trabalho destacam a necessidade de desenvolver protocolos de segurança e métodos de treinamento de modelos mais avançados. Em particular, antes da ampla adoção de agentes LLM em áreas críticas, é necessário garantir sua resistência a entradas maliciosas e sua capacidade de recusar a execução de comandos explicitamente ilegais.

O benchmark AgentHarm foi publicado em acesso aberto e destina-se a futuras pesquisas na área de segurança de IA. O conjunto de tarefas está disponível na plataforma Hugging Face, permitindo que desenvolvedores testem seus modelos e métodos de proteção em um conjunto uniforme de cenários maliciosos. Além disso, parte das tarefas foi mantida como não publicada (oculta) para ser usada em avaliações independentes de novos modelos no futuro e para evitar o vazamento do conteúdo do benchmark nos dados de treinamento de grandes modelos. Assim, o AgentHarm serve como uma ferramenta importante para a medição objetiva dos riscos associados aos agentes LLM e estimula o desenvolvimento de métodos mais robustos para combater ataques maliciosos em sistemas de inteligência artificial.

Links

• Artigo original do AgentHarm (arXiv)
• Artigo sobre AgentHarm no site da Gray Swan AI
• Página do dataset AgentHarm no Hugging Face
• Análise do AgentHarm no GitHub do governo do Reino Unido
• Análise do AgentHarm no Emergent Mind

Literatura

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.