Meta Prompting (PT)

Meta-prompting (do inglês, meta-prompting) é um método avançado de engenharia de prompt no qual grandes modelos de linguagem (LLMs) são usados para criar, ajustar e otimizar suas próprias instruções (prompts). Diferente das abordagens tradicionais, onde um ser humano escreve manualmente instruções detalhadas, o meta-prompting foca na definição da estrutura da solução do problema e nos papéis que o modelo deve desempenhar. Em outras palavras, ele descreve como resolver o problema, e não o que fazer exatamente em cada caso específico.

Essa abordagem permite que os LLMs decomponham problemas complexos de forma autônoma, refinem as solicitações e melhorem iterativamente suas respostas, abrindo caminho para a criação de sistemas de inteligência artificial mais autônomos e adaptáveis.

Principais métodos e abordagens

O termo "meta-prompting" ganhou popularidade na literatura científica no final de 2023 e início de 2024, quando vários grupos de pesquisa apresentaram abordagens semelhantes para o gerenciamento de LLMs.

Método de "andaime" (Scaffolding)

Uma das principais abordagens foi proposta por pesquisadores da Universidade de Stanford e da OpenAI. Nesse esquema, chamado de scaffolding, o mesmo modelo de linguagem (GPT-4 nos experimentos) desempenha múltiplos papéis simultaneamente:

• Condutor (Conductor): Recebe um meta-prompt de alto nível e divide a tarefa complexa em uma série de subtarefas mais simples.
• Especialistas (Experts): O "Condutor" inicializa várias de suas próprias instâncias como "especialistas", cada uma resolvendo uma subtarefa separada de acordo com instruções especificamente definidas.
• Integração: O "Condutor" coordena o trabalho dos "especialistas" e integra suas respostas na solução final.

Essa abordagem de orquestração permitiu um aumento significativo na eficiência da resolução de tarefas complexas. Por exemplo, em experimentos, o meta-prompting superou os prompts de etapa única em 17,1% e outros métodos avançados em 15–17% em conjuntos de tarefas que exigem raciocínio multicomponente (como o jogo "24" e quebra-cabeças de xadrez). É importante notar que este método é independente da tarefa e opera no modo zero-shot, não exigindo exemplos específicos para cada nova tarefa.

Abordagem teórica e padrões estruturais

Paralelamente, um grupo de pesquisadores da Universidade de Tsinghua propôs seu próprio conceito de meta-prompting, deslocando o foco da parte de conteúdo da tarefa para sua sintaxe e forma de representação de dados. Com base em um modelo categórico, eles demonstraram que uma descrição abstrata da estrutura do problema permite que o modelo construa raciocínios com profundidade semelhante à humana e decomponha eficientemente questões complexas em etapas mais simples.

Conceitos relacionados

As ideias de meta-prompting também aparecem em outros métodos:

• Automatic Prompt Engineer (APE): Um método no qual um LLM gera e seleciona automaticamente instruções eficazes para si mesmo, avaliando-as pela qualidade dos resultados obtidos.
• Self-Refine: Uma abordagem na qual o modelo melhora iterativamente sua resposta, analisando criticamente a versão anterior e gerando correções com base nessa crítica.

Aplicação e vantagens

O meta-prompting demonstrou alta eficácia em tarefas que exigem raciocínio complexo e multicomponente, como provas matemáticas, programação e resolução de quebra-cabeças passo a passo. As principais vantagens do método são:

• Eficiência de tokens: Focar na estrutura geral da tarefa, em vez de listar múltiplos exemplos, reduz o tamanho do prompt. O meta-prompt funciona como um modelo universal que requer menos tokens.
• Estabilidade e imparcialidade: O método evita a dependência de exemplos específicos, o que torna o modelo menos suscetível a vieses em direção a particularidades das amostras de treinamento.
• Adaptação dinâmica: Ao contrário de um prompt estático, o meta-prompting permite melhorias iterativas. O modelo pode refinar as instruções durante a resolução, solicitar informações ausentes e ajustar a estratégia.
• Generalização para novas tarefas: Instruções de alto nível são mais facilmente transferidas para tarefas novas e inéditas, tornando o meta-prompting uma forma aprimorada da abordagem zero-shot.

Limitações e riscos

• Custo e complexidade computacional: O método exige múltiplas chamadas ao modelo para uma única tarefa, o que aumenta o custo de tempo e de solicitações de API. As implementações atuais operam sequencialmente, dificultando a paralelização.
• Dependência das capacidades do modelo: A eficácia do meta-prompting depende fortemente da qualidade do LLM base. Estudos mostraram que o GPT-3.5 quase não se beneficia desse método, enquanto para o GPT-4 e modelos posteriores, o ganho é visivelmente maior.
• Limitações fundamentais dos LLMs: O meta-prompting não é uma panaceia. Se a tarefa estiver além do conhecimento do modelo base, mesmo um meta-prompt perfeitamente formulado não garante um resultado correto. Nesses casos, é necessário um reajuste fino (fine-tuning) ou a integração com ferramentas externas (como busca na internet ou um interpretador de código).

Links

• Exemplo de meta-prompting no OpenAI Cookbook
• Descrição do método no Prompt Engineering Guide

Literatura

• Suzgun, M.; Kalai, A. T. (2024). Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding. arXiv:2401.12954.
• Zhang, Y.; Yuan, Y.; Yao, A. C.-C. (2023). Meta Prompting for AGI Systems. arXiv:2311.11482.
• Zhou, Y. et al. (2022). Large Language Models Are Human-Level Prompt Engineers. arXiv:2211.01910.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Ning, X. et al. (2023). Skeleton-of-Thought: Prompting LLMs for Efficient Parallel Generation. arXiv:2307.15337.
• Chen, X. et al. (2023). Universal Self-Consistency for Large Language Model Generation. arXiv:2311.17311.
• Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171.
• Fernando, C. et al. (2023). PromptBreeder: Self-Referential Self-Improvement via Prompt Evolution. arXiv:2309.16797.
• Zhou, P. et al. (2024). Self-DISCOVER: Large Language Models Self-Compose Reasoning Structures. arXiv:2402.03620.
• Chen, J. et al. (2024). Thought-Augmented Reasoning with Large Language Models. arXiv:2406.04271.