Prompting Multiagente

From Systems analysis wiki
Jump to navigation Jump to search

Prompting Multiagente (do inglês multi-agent prompting) é um método em engenharia de prompts e sistemas de inteligência artificial no qual vários agentes autônomos baseados em grandes modelos de linguagem (LLMs) interagem entre si para resolver tarefas complexas por meio de uma troca estruturada de instruções e respostas[1].

Em outras palavras, um sistema multiagente consiste em vários agentes de LLM que trabalham colaborativamente em uma consulta complexa do usuário, distribuindo as etapas de raciocínio (subtasks) entre agentes com diferentes "papéis" e competências. O principal objetivo dessa abordagem é superar as limitações de um único modelo em tarefas complexas por meio de uma solução coletiva. O uso de múltiplos agentes interagindo visa a aumentar a qualidade do raciocínio, a precisão factual e a confiabilidade da resposta[2]. Uma característica importante é a estrita instrucionalidade: a cada LLM é atribuído um papel ou tarefa específica dentro do esquema geral de solução.

Métodos e Padrões Arquitetônicos

Pesquisadores propuseram uma série de esquemas de prompting multiagente, que se diferenciam pela natureza da interação dos agentes e seus papéis.

Modelagem de Especialistas por Papéis

Um ou mais agentes são designados como especialistas de domínio com especialização restrita. Por exemplo, em um grupo multiagente, diferentes agentes podem representar diferentes áreas do conhecimento (físico, químico, biólogo) ou diferentes estágios da solução de uma tarefa (planejador, executor, crítico)[1]. Essa abordagem permite implementar um prompting few-shot eficaz, onde cada agente especialista recebe exemplos de demonstração em sua área, melhorando o desempenho geral.

Autocorreção e Crítica (Self-reflection)

Um agente pode atuar como um "crítico" ou refletir sobre as soluções de outro agente ou sobre suas próprias respostas anteriores. A estratégia self-reflection ou self-refinement consiste em um LLM primeiro gerar uma resposta e, em seguida, o mesmo ou outro modelo analisa e corrige os erros nessa resposta[1]. Isso permite melhorar iterativamente o resultado final.

Debates entre Agentes

Uma variante competitiva do prompting multiagente, que organiza uma discussão ou debate entre vários LLMs. No esquema LLM-Debate, dois ou mais agentes debatem sobre a resposta correta para uma tarefa (por exemplo, matemática) e criticam os argumentos um do outro[3]. Esse formato de debate melhora a capacidade do modelo para o raciocínio lógico e aumenta a precisão factual das respostas em comparação com uma solução de agente único.

Planejamento e Decomposição de Tarefas

Um agente atua como planejador, dividindo uma consulta complexa em uma sequência de passos ou subtarefas, que são então resolvidas por ele mesmo ou por outros agentes. Metodologias como ReAct e Reflexion implementam um princípio semelhante de planejamento iterativo com feedback. O LLM primeiro gera um plano de solução antes de começar a executá-lo, o que ajuda a lidar com longas cadeias de raciocínio[1].

Colaboração com Múltiplas Personas

Em vez de usar modelos diferentes, é possível usar o mesmo LLM, fazendo-o "interpretar" vários agentes com diferentes configurações pessoais ou pontos de vista. Na abordagem multi-persona self-collaboration, um único modelo assume sequencialmente vários papéis durante um diálogo, conduzindo uma discussão como se fosse consigo mesmo. Embora pesquisas mostrem que agentes independentes e separados proporcionam maior eficiência, este método permite simular uma equipe de especialistas dentro de um único LLM[1].

Aplicações e Resultados

A abordagem de prompting multiagente demonstrou sua eficácia em várias áreas onde LLMs únicos anteriormente enfrentavam dificuldades.

Raciocínio Matemático e Lógico

O uso de múltiplos agentes aumenta notavelmente a precisão em tarefas que exigem inferência em várias etapas (aritmética complexa, provas matemáticas, quebra-cabeças lógicos). No trabalho de Du et al. (2023), a abordagem de "debate" multiagente melhorou o resultado em comparação com um agente único. A análise mostrou que, à medida que o número de agentes participantes na discussão aumenta, a precisão da resposta também aumenta[3].

Tarefas Científicas e Técnicas

Para problemas complexos de domínio específico (física, química), foi proposto o método CoMM (Collaborative Multi-Agent, Multi-Reasoning-Path Prompting), no qual vários agentes LLM com diferentes papéis (especialistas) aplicam diferentes estratégias de raciocínio em paralelo. Em testes com problemas de física de nível universitário, o CoMM superou significativamente abordagens básicas como chain-of-thought, cometendo menos erros em fórmulas и cálculos[1].

Geração e Depuração de Código

Na área de programação, sistemas multiagente são aplicados para melhorar a qualidade do código e reduzir o número de erros. O sistema PromptV utiliza vários agentes para escrever, verificar e corrigir sequencialmente código Verilog. A distribuição de papéis (geração, revisão, teste) melhorou a capacidade do modelo de detectar e corrigir erros, resultando em um aumento da proporção de soluções compiladas com sucesso para 96,5% em um dos benchmarks[4].

Busca e Análise de Informações

Sistemas multiagente são especialmente úteis para consultas abertas e mal estruturadas. A empresa Anthropic desenvolveu um modo multiagente para o modelo Claude, projetado para pesquisas na web. Nesse sistema, um agente líder analisa a consulta e gera vários agentes de subtarefas paralelos, cada um realizando buscas sobre diferentes aspectos do tema. Essa arquitetura foi 90% mais eficaz em lidar com questões de busca complexas em comparação com um único modelo Claude[2].

Classificação de Texto e Tarefas de PLN

Para tarefas de PLN, foi desenvolvido o prompting baseado em princípios (Principle-Based Prompting). Nessa metodologia, os agentes LLM primeiro geram um conjunto de "princípios" (regras de solução), e depois um agente finalizador seleciona os melhores, com base nos quais outro agente realiza a classificação. Essa abordagem aumentou a métrica macro-F1 em 1,5–19% em comparação com métodos básicos, aproximando-se da qualidade do treinamento clássico com exemplos (few-shot)[5].

Limitações e Problemas

Complexidade Computacional e Custos

A principal desvantagem é o aumento drástico da carga computacional. Cada agente requer sua própria sessão de geração, o que leva a um consumo significativo de tokens e recursos. Segundo a Anthropic, seu sistema consome em média 4 vezes mais tokens por diálogo e, em alguns casos, até 15 vezes mais[2]. Isso torna a aplicação da abordagem justificável apenas para tarefas de alto valor.

Complexidade de Projeto e Coordenação

Para um funcionamento bem-sucedido, é necessária uma cuidadosa engenharia de prompts: é preciso definir claramente o papel de cada agente, o formato da troca de mensagens e os critérios de parada. Caso contrário, os agentes podem duplicar o trabalho, entrar em um ciclo infinito de buscas ou criar subtarefas inúteis[2].

Segurança e Confiabilidade

Surgem novos vetores de ataque. Pesquisadores demonstraram o fenômeno da Infecção de Prompt (Prompt Infection), onde um fragmento malicioso de instrução de um agente é transmitido a outro, espalhando-se por toda a cadeia de raciocínio como um vírus. Esse tipo de ataque LLM-to-LLM revela a vulnerabilidade de sistemas multiagente a injeções e manipulações ocultas, o que exige o desenvolvimento de medidas de proteção especiais, como a marcação da saída de cada agente (LLM Tagging)[6].

Ligações externas

Literatura

  • Chen, P. et al. (2024). CoMM: Collaborative Multi-Agent, Multi-Reasoning-Path Prompting for Complex Problem Solving. arXiv:2404.17729.
  • Li, J. et al. (2024). More Agents Is All You Need. arXiv:2402.05120.
  • Mi, Y. et al. (2024). PromptV: Leveraging LLM-Powered Multi-Agent Prompting for High-Quality Verilog Generation. arXiv:2412.11014.
  • Wei, P. et al. (2024). Don’t Just Demo, Teach Me the Principles: A Principle-Based Multi-Agent Prompting Strategy for Text Classification. arXiv:2502.07165.
  • Lee, D.; Tiwari, A. (2024). Prompt Infection: LLM-to-LLM Prompt Injection within Multi-Agent Systems. arXiv:2410.07283.
  • Fernando, C. et al. (2023). PromptBreeder: Self-Referential Self-Improvement via Prompt Evolution. arXiv:2309.16797.
  • Wu, Q. et al. (2023). AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation. arXiv:2308.08155.
  • Liu, X. et al. (2023). AgentBench: Evaluating LLMs as Agents. arXiv:2308.03688.
  • Li, G. et al. (2024). Multi-LLM Debate: Framework, Principles, and Interventions. PDF.
  • Du, N. et al. (2023). Improving Factuality and Reasoning in Language Models through Multi-Agent Debate. arXiv:2305.14325.

Notas

  1. 1.0 1.1 1.2 1.3 1.4 1.5 Chen, Y. et al. «CoMM: Collaborative Multi-Agent, Multi-Reasoning-Path Prompting for Complex Problem Solving». arXiv, 2024. [1]
  2. 2.0 2.1 2.2 2.3 «How we built our multi-agent research system». Anthropic. [2]
  3. 3.0 3.1 Li, G. et al. «More Agents Is All You Need». arXiv, 2024. [3]
  4. Mi, Y. et al. «PromptV: Leveraging LLM-powered Multi-Agent Prompting for High-quality Verilog Generation». ResearchGate, 2024. [4]
  5. Wei, J. et al. «Don't Just Demo, Teach Me the Principles: A Principle-Based Multi-Agent Prompting Strategy for Text Classification». arXiv, 2024. [5]
  6. Lee, K. & Tiwari, A. «Prompt Infection: LLM-to-LLM Prompt Injection within Multi-Agent Systems». OpenReview, 2024. [6]