Least-to-most Prompting (PT)

Least-to-Most Prompting (LtM) é um método de desenvolvimento de prompts para grandes modelos de linguagem (LLMs), que permite resolver tarefas complexas por meio de sua decomposição em etapas mais simples, com a subsequente resolução sequencial dessas subtarefas. Essa abordagem foi proposta em 2022 por um grupo de pesquisadores do Google Brain liderado por Denny Zhou e apresentada na conferência ICLR 2023. O objetivo principal do método é superar a limitação dos prompts Chain-of-Thought, que têm dificuldade em lidar com tarefas mais complexas do que os exemplos apresentados ao modelo durante o treinamento com prompts. O Least-to-Most Prompting permite que o modelo generalize para tarefas de maior complexidade, mantendo-se interpretável e sem exigir treinamento adicional da rede neural. O nome do método é emprestado da psicologia pedagógica, onde "least to most prompting" se refere a fornecer a um aluno uma série de dicas com níveis crescentes de ajuda para dominar uma nova habilidade.

Descrição do método

O método Least-to-Most Prompting é implementado em duas etapas, cada uma das quais é definida para o próprio modelo de linguagem por meio de prompts cuidadosamente elaborados (sem treinamento adicional do modelo):

1. Decomposição da tarefa. Na primeira etapa, o modelo recebe uma instrução e exemplos que demonstram como dividir uma tarefa complexa em uma sequência de subtarefas mais simples. Em seguida, uma questão complexa específica é apresentada ao modelo, e ele deve gerar uma lista de questões intermediárias simplificadas. Por exemplo, para uma tarefa complexa, o modelo pode formular de forma autônoma uma sub-pergunta de esclarecimento que aborda parte do problema original.
2. Resolução sequencial das subtarefas. Na segunda etapa, o modelo resolve as subtarefas obtidas em ordem — da mais simples para a mais complexa. Para isso, cada subtarefa é precedida por um contexto: exemplos de soluções para sub-problemas semelhantes e também (se disponíveis) as subtarefas anteriores já resolvidas, juntamente com suas respostas. Após resolver a primeira subtarefa, o modelo adiciona sua resposta ao texto do prompt e recebe a próxima subtarefa, usando as soluções anteriores como contexto. Isso continua até que a subtarefa final e mais complexa, que responde diretamente à pergunta original, seja resolvida.

Exemplo: um problema de texto original é dividido em duas etapas usando o método Least-to-Most. Primeiro, o modelo formula e resolve uma questão intermediária ("How long does each trip take?" — "Quanto tempo dura cada viagem?"), obtendo a resposta "each trip takes 5 minutes" ("cada viagem leva 5 minutos"). Essa resposta é incluída em um novo prompt junto com a próxima subtarefa – a pergunta original ("How many times can she slide before it closes?" – "Quantas vezes ela conseguirá descer antes que a atração feche?"). Usando o resultado anterior, o modelo calcula a resposta final (neste exemplo: 3 vezes).

Fundamentalmente, o Least-to-Most Prompting difere da abordagem padrão de chain-of-thought por dividir o processo de raciocínio em consultas separadas com acúmulo de conhecimento, em vez de gerar uma única "cadeia de pensamento" contínua em uma única resposta. Essa abordagem gradual e recursiva permite que o modelo avance progressivamente para aspectos cada vez mais complexos da tarefa, eliminando efetivamente o problema da generalização do fácil para o difícil (quando o modelo enfrenta uma tarefa mais difícil do que as presentes nos exemplos de treinamento). É importante notar que ambas as etapas do método LtM são implementadas por meio de few-shot prompting (demonstração de alguns exemplos) e não exigem treinamento adicional do modelo ou seu ajuste fino com novos dados. Além disso, o método é compatível com outras técnicas para melhorar o raciocínio de LLMs; por exemplo, pode ser combinado com chain-of-thought e self-consistency (amostragem sequencial de múltiplas soluções) ao gerar uma resposta, embora isso não seja necessário.

Resultados experimentais e aplicações

No trabalho que propôs o Least-to-Most Prompting, foi demonstrado que este método supera os métodos de prompting padrão (incluindo o chain-of-thought) em uma série de tarefas que exigem raciocínio complexo de múltiplos passos. Ele demonstrou com sucesso suas vantagens em três categorias principais de tarefas:

• Tarefas simbólicas e algorítmicas. Por exemplo, na tarefa de concatenação das últimas letras de palavras (pegar sequencialmente a última letra de cada palavra em uma lista e formar uma nova palavra com elas), o método LtM aumentou significativamente a capacidade do modelo de generalizar para sequências mais longas de palavras. Sem treinamento especial, o modelo GPT-3 (code-davinci-002) com prompts chain-of-thought resolveu corretamente essas tarefas em apenas cerca de 32% dos casos quando a lista de palavras tinha 12 itens, enquanto com o uso do Least-to-Most Prompting, a precisão atingiu ~74%. Com listas curtas (de comprimentos encontrados nos exemplos), ambas as estratégias tiveram um bom desempenho, mas com o aumento do comprimento da sequência, a qualidade do chain-of-thought caiu drasticamente, enquanto o Least-to-Most proporcionou uma queda mais suave e manteve uma alta precisão. Isso demonstra a capacidade do método LtM de generalizar a lógica da solução para dados de entrada mais complexos (mais longos).
• Generalização composicional (compositional generalization). Esta categoria de tarefas inclui, por exemplo, a tradução de instruções textuais em uma sequência de ações (como no benchmark SCAN, que exige a execução de comandos como "jump twice and run" e a generalização para combinações mais longas). O método LtM permitiu que os LLMs resolvessem com sucesso até mesmo as variantes mais difíceis de tais tarefas. Especificamente, o modelo GPT-3 com prompts LtM alcançou 99% de precisão em todas as variantes de divisão de dados no conjunto SCAN (incluindo a mais difícil, a divisão por comprimento, onde as sequências de teste são mais longas que as de treinamento), usando apenas 14 exemplos no prompt. Em comparação, a abordagem padrão de chain-of-thought obteve apenas cerca de 16% de precisão em condições semelhantes. Além disso, isso foi alcançado sem treinar o modelo nos dados de treinamento, enquanto as melhores soluções anteriores para o SCAN dependiam de arquiteturas neuro-simbólicas especiais ou métodos de aumento de dados, que exigiam o uso de todo o conjunto de treinamento de mais de 15.000 exemplos. Assim, o Least-to-Most Prompting demonstrou uma capacidade sem precedentes para modelos sem ajuste fino em generalização composicional.
• Problemas matemáticos de texto. O método foi testado em problemas de aritmética em texto, por exemplo, do conjunto de dados GSM8K (problemas de texto complexos de adição/subtração e lógica), bem como em uma série de questões do conjunto DROP (que testam a capacidade de extrair e contar informações numéricas em texto). Aqui também, o Least-to-Most Prompting mostrou uma melhora na precisão em comparação com o chain-of-thought. Para o GSM8K, usando o modelo code-davinci-002, a precisão das respostas aumentou de ~60.9% para ~62.4%. Nas subtarefas do DROP, o ganho foi ainda mais notável: por exemplo, em uma parte das questões sobre fatos de "futebol", a precisão subiu de ~59.6% (chain-of-thought) para ~73.4% com a aplicação do LtM. Embora o aumento de qualidade em tarefas matemáticas tenha sido menos dramático do que no SCAN, os autores observam um ponto importante: quase qualquer problema do GSM8K pode ser resolvido corretamente se o modelo receber a decomposição correta do problema. Isso indica que a chave para uma solução bem-sucedida são as questões intermediárias bem formuladas; a abordagem LtM visa justamente a criação automática de tais questões e sua resolução sequencial.

Em suma, os experimentos confirmam que o Least-to-Most Prompting supera significativamente tanto o prompting few-shot ingênuo sem raciocínio quanto o método chain-of-thought em muitos tipos de tarefas que exigem inferência de múltiplos passos. O método permite que os LLMs resolvam problemas mais complexos do que aqueles com os quais o modelo foi inicialmente familiarizado por meio de exemplos, expandindo as fronteiras do in-context learning (aprendizado em tempo real por meio de prompts).

Limitações e direções futuras

Apesar dos sucessos, o método Least-to-Most Prompting tem algumas limitações. Primeiramente, diferentes tipos de tarefas exigem diferentes abordagens de decomposição. Um modelo de prompt que divide eficientemente um problema matemático pode ser completamente inadequado para um problema de lógica ou de senso comum. Por exemplo, os prompts que ensinaram o modelo a dividir problemas de matemática em texto em etapas foram inúteis para uma questão de senso comum como "Aristóteles usou um laptop?" — para tal tarefa, uma estratégia de decomposição completamente diferente é necessária. Portanto, para cada novo domínio ou tipo de problema, é preciso selecionar novamente os exemplos de decomposição da tarefa e formar um prompt correspondente que ilustre a estrutura da solução. Em outras palavras, o conhecimento de como decompor corretamente uma tarefa não é generalizado universalmente pelo próprio LLM; ele precisa ser fornecido por meio de exemplos para uma classe específica de tarefas.

Além disso, a eficácia do LtM depende significativamente de quão bem a tarefa se presta à decomposição em sub-objetivos independentes. Se o modelo não conseguir formular corretamente os passos intermediários ou se alguma subtarefa necessária for omitida, a solução final também estará incorreta. No entanto, os próprios desenvolvedores observam que, em muitos casos, um fracasso pode ser transformado em sucesso se uma pessoa fornecer manualmente a decomposição correta — nesse caso, o modelo resolve cada parte sem dificuldade e combina as respostas com sucesso. Isso destaca o potencial para o desenvolvimento futuro da abordagem: melhorar a qualidade da geração automática de subtarefas e, possivelmente, o aprendizado interativo dos modelos. Em conclusão, os autores do LtM sugerem que o futuro dos métodos de prompting pode estar na direção de um diálogo bidirecional completo com o modelo, onde ele recebe feedback instantâneo e correção de seus passos intermediários. O método Least-to-Most Prompting pode ser visto como um passo nessa direção, mostrando que a interação sequencial com o modelo por meio da decomposição e da resolução gradual de tarefas permite expandir significativamente suas capacidades de raciocínio sem treinamento em novos dados.

Ligações externas

• Artigo original "Least-to-Most Prompting Enables Complex Reasoning in Large Language Models" no arXiv
• Versão em HTML do artigo original
• O que é Least-to-Most Prompting? — artigo do AI Safety Info
• Visão geral do método no Medium
• Revisão geral dos métodos de engenharia de prompt no arXiv

Literatura

• Zhou, D. et al. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. arXiv:2205.10625.
• Zhou, D. et al. (2023). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. ICLR 2023. OpenReview.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models Are Zero-Shot Reasoners. arXiv:2205.11916.
• Nye, M. et al. (2021). Show Your Work: Scratchpads for Intermediate Computation with Language Models. arXiv:2112.00114.
• Lake, B. M.; Baroni, M. (2018). Generalization without Systematicity: On the Compositional Skills of Sequence-to-Sequence Recurrent Networks. arXiv:1711.00350.
• Cobbe, K. et al. (2021). Training Verifiers to Solve Math Word Problems. arXiv:2110.14168.
• Dua, D. et al. (2019). DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs. arXiv:1903.00161.
• Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.