Automatic Prompt Engineer (APE) (PT)

Automatic Prompt Engineer (APE) é uma metodologia para a geração e otimização automatizada de instruções textuais (prompts) para controlar o comportamento de grandes modelos de linguagem (LLMs). A abordagem foi proposta em 2022 por um grupo de pesquisadores liderado por Yongchao Zhou.

Em vez da criação manual e do aprimoramento iterativo de prompts, o APE formaliza a engenharia de prompts como um problema de otimização. Nesse contexto, um prompt é tratado como um "programa" em linguagem natural que precisa ser sintetizado para maximizar uma determinada função de qualidade (por exemplo, a precisão ou a veracidade das respostas do modelo).

Conceito principal e método

O método APE utiliza dois modelos de linguagem em conjunto: um modelo gerador e um modelo alvo. O processo consiste em um ciclo iterativo de busca e seleção (search-and-select):

1. Geração de candidatos. O modelo gerador recebe como entrada alguns exemplos de pares "entrada-saída" para a tarefa alvo e, com base neles, cria um conjunto de possíveis prompts candidatos que poderiam levar a tais resultados.
2. Avaliação. Cada prompt candidato gerado é passado para o LLM alvo. O modelo alvo executa a instrução em um novo conjunto de dados de teste, e suas respostas são avaliadas com base em uma métrica predefinida (por exemplo, acurácia, completude, F1-score).
3. Seleção. O prompt que demonstrou o melhor desempenho na avaliação é selecionado.
4. Iteração (opcional). O ciclo pode ser repetido. O modelo gerador recebe a instrução para refinar o melhor prompt encontrado, criando variações dele, e o processo de avaliação e seleção é repetido para alcançar a máxima eficiência.

Essa abordagem permite reproduzir automaticamente o processo de criação manual de prompts, utilizando um LLM para gerar hipóteses (prompts) e, em seguida, avaliá-las.

Metodologias principais

A automação da engenharia de prompts é implementada por meio de diversas abordagens algorítmicas.

Automação baseada em LLM

Este é o método clássico do APE, descrito acima, no qual um LLM é usado para gerar e avaliar prompts para outro LLM (ou para si mesmo). Essa abordagem demonstrou ser muito eficaz para prompts de texto discretos.

Métodos evolutivos

Utilizam-se algoritmos genéticos ou busca em feixe (beam search) para criar e selecionar prompts, especialmente os longos e complexos. Por exemplo, o framework APEX (Automatic Engineering of Long Prompts) aplica algoritmos evolutivos para "cultivar" e aprimorar gradualmente instruções complexas.

Métodos baseados em gradiente (Soft Prompts)

Essa abordagem trabalha com prompts contínuos ou suaves (soft prompts), que são vetores treináveis (embeddings) em vez de instruções textuais. Esses vetores são otimizados usando descida de gradiente diretamente na tarefa alvo. Técnicas como Prompt Tuning e Prefix-Tuning se enquadram nesta categoria.

Aprendizagem por reforço

Neste paradigma, o LLM atua como um agente que gera um prompt (ação), e o ambiente retorna uma avaliação da qualidade da resposta (recompensa). O objetivo é maximizar a recompensa acumulada, encontrando a estratégia ótima para a geração de prompts por meio de métodos de aprendizagem por reforço (RL).

Resultados e descobertas

Os experimentos realizados na pesquisa original do APE mostraram que as instruções geradas automaticamente, na maioria dos casos, superam em qualidade os prompts escritos por humanos.

• Durante testes em 24 tarefas de processamento de linguagem natural (PLN), o APE gerou prompts que se mostraram mais eficazes que os prompts humanos em 19 dos 24 casos.
• O APE conseguiu "descobrir" automaticamente uma formulação mais eficaz para o prompting no estilo Chain-of-Thought. Em vez da frase padrão "Let's think step by step" (Vamos pensar passo a passo), o APE gerou uma instrução mais elaborada e eficaz: "Let's work this out in a step by step way to be sure we have the right answer" (Vamos resolver isso passo a passo para ter certeza de que obteremos a resposta correta). Essa formulação aumentou a precisão na resolução de problemas matemáticos em conjuntos de dados como MultiArith e GSM8K.

Aplicação e vantagens

Aplicações

• Melhora do aprendizado com poucos exemplos (few-shot learning): Seleção automática de exemplos e instruções ideais.
• Aumento da confiabilidade dos modelos: O APE pode ser configurado para encontrar prompts que minimizem "alucinações" e maximizem a veracidade das respostas em benchmarks como o TruthfulQA.
• Automação do desenvolvimento: Aceleração da criação de chatbots, sistemas de extração de informação e outras aplicações baseadas em LLMs.

Vantagens

• Escalabilidade: Capacidade de gerar e avaliar automaticamente centenas e milhares de prompts sem intervenção humana.
• Adaptabilidade: Facilidade de ajustar LLMs para domínios novos e altamente especializados.
• Economia de recursos: Redução significativa do tempo e do esforço dedicados à seleção manual de prompts.

Evolução e abordagens relacionadas

O conceito de APE continua a evoluir. Surgiram sistemas totalmente autônomos, como o APET (Automatic Prompt Engineering Toolbox), que permitem que um LLM (por exemplo, GPT-4) aplique de forma independente estratégias complexas de prompting (Expert Prompting, Chain of Thought, Tree of Thoughts) e melhore dinamicamente as instruções sem intervenção externa.

O APE faz parte de uma tendência mais ampla de automação da interação com LLMs, que também inclui:

• AutoPrompt: Um método pioneiro que utilizava busca por gradiente para encontrar "tokens-gatilho" individuais.
• OPRO (Optimization by PROmpting): Uma abordagem da DeepMind semelhante ao APE, que também utiliza um LLM para otimizar prompts.

Links

• Site oficial do projeto Automatic Prompt Engineer (APE)
• Artigo científico "Large Language Models Are Human-Level Prompt Engineers"
• AutoPrompt (2020). AutoPrompt – Official GitHub Repository. GitHub.

Literatura

• Zhou, Y. et al. (2022). Large Language Models Are Human-Level Prompt Engineers. arXiv:2211.01910.
• Li, W. et al. (2025). A Survey of Automatic Prompt Engineering: An Optimization Perspective. arXiv:2502.11560.
• Hsieh, C.-J. et al. (2024). Automatic Engineering of Long Prompts. Findings of ACL 2024. 2024.findings-acl.634.
• Hsieh, C.-J. et al. (2023). Automatic Long Prompt Engineering. arXiv:2311.10117.
• Shin, T. et al. (2020). AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts. arXiv:2010.15980.
• Yang, C. et al. (2023). Large Language Models as Optimizers (OPRO). arXiv:2309.03409.
• Liu, Y. et al. (2024). Revisiting OPRO: The Limitations of Small-Scale LLMs as Optimizers. arXiv:2405.10276.
• Kepel, D.; Valogianni, K. (2024). Autonomous Prompt Engineering in Large Language Models (APET). arXiv:2407.11000.
• Yang, C. et al. (2024). Optimizing Instructions and Demonstrations for Multi-Stage LM Programs. arXiv:2406.11695.
• Hsieh, C.-J. et al. (2024). APEX (code repository and results). PDF.