Reinforcement learning from human feedback (RLHF) (PT)

From Systems analysis wiki
Jump to navigation Jump to search

Aprendizagem por Reforço com Feedback Humano (Reinforcement Learning from Human Feedback, RLHF) é um método de aprendizado de máquina no qual um "modelo de recompensa" (reward model) especial é primeiramente treinado com base no feedback de humanos e, em seguida, utilizado no processo de aprendizagem por reforço (RL) para otimizar o comportamento de um agente inteligente[1].

O RLHF permite formalizar objetivos complexos ou difíceis de definir (por exemplo, uma resposta "útil", "segura" ou "engraçada") por meio de avaliações humanas. Em vez de definir manualmente uma função de recompensa complexa, o RLHF permite treinar um modelo de recompensa diretamente com base nas preferências humanas. Essa abordagem tornou-se fundamental para o "alinhamento" (alignment) de grandes modelos de linguagem (LLMs), ou seja, para ajustar seu comportamento de acordo com os valores e intenções humanas[2].

Desenvolvimento do método e primeiras conquistas

A ideia de treinar agentes usando feedback humano surgiu na década de 2010. Um dos primeiros resultados significativos foi o trabalho de Paul Christiano e colegas da OpenAI e DeepMind em 2017. Eles demonstraram que as preferências humanas poderiam substituir uma função de recompensa definida manualmente em tarefas complexas de RL. Em seu experimento, um humano assistia a trechos do comportamento de um agente (por exemplo, em um jogo de Atari) e selecionava a opção preferível. Com base nessas comparações pareadas, um modelo de recompensa foi treinado, o que permitiu resolver com sucesso uma série de tarefas complexas, recebendo feedback em menos de 1% das ações do agente[3].

Nos anos seguintes, o método começou a ser aplicado ao treinamento de modelos de linguagem. Em 2020, pesquisadores da OpenAI aplicaram o RLHF pela primeira vez à tarefa de sumarização de texto. Eles treinaram um modelo de recompensa que previa qual resumo um humano preferiria e, usando RL, ajustaram o modelo para otimizar essa avaliação. O resultado mostrou uma qualidade de sumarização significativamente maior, superando até mesmo modelos treinados com exemplos de referência humanos[4].

RLHF em grandes modelos de linguagem

Os grandes modelos de linguagem se beneficiaram significativamente da implementação do RLHF para melhorar suas respostas em termos de utilidade, precisão e conformidade com as instruções.

InstructGPT e ChatGPT

Um dos passos fundamentais foi a pesquisa da OpenAI que introduziu os modelos InstructGPT (2022) — versões do GPT-3 ajustadas com participação humana[5]. A metodologia consistia em três etapas:

  1. Ajuste Fino Supervisionado (Supervised Fine-Tuning, SFT): O modelo é ajustado com um pequeno conjunto de demonstrações de alta qualidade, no qual avaliadores humanos escrevem manualmente exemplos de respostas desejadas para várias solicitações.
  2. Treinamento do Modelo de Recompensa (Reward Model): Para um conjunto de solicitações, são geradas múltiplas respostas pelo modelo. Avaliadores humanos classificam essas respostas da melhor para a pior. Com base nesses dados de preferência, um modelo de recompensa é treinado para atribuir pontuações mais altas às respostas que os humanos preferem.
  3. Otimização com RL: O modelo de linguagem original é ajustado usando o algoritmo de otimização de política proximal (PPO) para maximizar a pontuação dada pelo modelo de recompensa. Durante a otimização, uma penalidade é introduzida para evitar um grande desvio do modelo SFT original, prevenindo a degradação das capacidades linguísticas.

Os testes mostraram que até mesmo o modelo relativamente pequeno InstructGPT (1,3 bilhão de parâmetros) superou em utilidade o modelo gigante GPT-3 (175 bilhões de parâmetros). Os modelos InstructGPT também passaram a gerar conteúdo tóxico, enviesado ou não confiável com muito menos frequência[5].

O desenvolvimento dessa linha levou à criação de modelos de diálogo, dos quais o mais conhecido se tornou o ChatGPT (OpenAI, final de 2022). O ChatGPT é um modelo da série GPT-3.5, especialmente ajustado para conversação usando RLHF com uma metodologia semelhante[6].

Adoção na indústria

O método RLHF foi adotado também por outras organizações líderes. A DeepMind desenvolveu o agente de diálogo Sparrow (2022), que foi treinado com RLHF e um conjunto adicional de regras em linguagem natural (por exemplo, "não dar conselhos perigosos")[7]. A Anthropic também usou princípios semelhantes para treinar seus modelos. Em 2023, o RLHF tornou-se um componente praticamente padrão na criação dos modelos de linguagem mais avançados[1].

Vantagens da aplicação de RLHF

  • Alinhamento com a intenção do usuário: Modelos que passam por ajuste com RLHF seguem instruções de forma significativamente melhor e fornecem respostas mais relevantes e úteis[5].
  • Redução de toxicidade e conteúdo prejudicial: A inclusão de humanos no ciclo de treinamento permite penalizar explicitamente formas indesejadas de resposta. Como resultado, os modelos RLHF geram conteúdo muito menos tóxico e enviesado[5].
  • Melhora da veracidade e redução de "alucinações": Os avaliadores podem rebaixar a classificação de respostas com fatos inventados, incentivando o modelo a ser mais preciso. Os modelos InstructGPT e ChatGPT "inventam" fatos com menos frequência em comparação com seus predecessores[5].
  • Eficiência do treinamento: O RLHF permite melhorar o modelo sem um aumento proporcional no conjunto de dados de treinamento. O que é necessário não são grandes volumes de dados, mas sim avaliações de preferência de alta qualidade.

Limitações e problemas

Apesar de seus sucessos, o método RLHF possui várias limitações e problemas em aberto.

  • Qualidade e custo da coleta de dados humanos: A eficácia do RLHF depende diretamente da qualidade do feedback. Coletar tal conjunto de dados é um processo trabalhoso e caro. Além disso, se a amostra de avaliadores ou seus critérios forem tendenciosos, o modelo pode herdar esses vieses[2].
  • Risco de "Reward Hacking": Um modelo otimizado para uma função de recompensa específica pode começar a se adaptar a essa função em vez do objetivo real. Por exemplo, ele pode aprender a dar respostas excessivamente longas se os avaliadores valorizarem o comprimento, ou evitar fazer afirmações se for penalizado por imprecisões.
  • Ausência de garantia de veracidade: O RLHF não introduz novos conhecimentos factuais no modelo, mas apenas o ensina a formatar respostas que agradem aos humanos. Portanto, o problema das alucinações não é completamente resolvido. O modelo pode aprender a esconder melhor a incerteza, mas nem sempre será capaz de verificar os fatos[6].
  • Escalabilidade das preferências: A transferência do modelo de recompensa para outras tarefas também levanta questões. Um modelo treinado com preferências para um conjunto de solicitações pode se comportar de maneira imprevisível ao encontrar tarefas com novos estilos ou temas.

Conclusão

O RLHF se consolidou como um método importante para o "alinhamento" de grandes modelos de linguagem com as noções humanas de boas respostas. Ele permitiu melhorar significativamente a qualidade da interação com assistentes de IA, tornando suas respostas mais úteis e seguras. O RLHF é visto como uma ferramenta fundamental no caminho para a criação de modelos capazes não apenas de gerar texto plausível, mas também de levar em conta os valores, preferências e intenções humanas durante a comunicação[8].

Ligações externas

Literatura

  • Christiano, P. et al. (2017). Deep Reinforcement Learning from Human Preferences. arXiv:1706.03741.
  • Stiennon, N. et al. (2020). Learning to Summarize from Human Feedback. arXiv:2009.01325.
  • Nakano, R. et al. (2021). WebGPT: Browser-Assisted Question-Answering with Human Feedback. arXiv:2112.09332.
  • Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
  • Glaese, A. et al. (2022). Improving Alignment of Dialogue Agents via Targeted Human Judgements. arXiv:2209.14375.
  • Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
  • Lee, H. et al. (2023). RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback. arXiv:2309.00267.
  • Liu, T. et al. (2023). A Survey of Reinforcement Learning from Human Feedback. arXiv:2312.14925.
  • Zhang, Y. et al. (2024). A Survey on Human Preference Learning for Large Language Models. arXiv:2406.11191.
  • Li, P. et al. (2024). Advancing Translation Preference Modeling with RLHF. arXiv:2402.11525.
  • McAleese, N. et al. (2024). LLM Critics Help Catch LLM Bugs. arXiv:2407.00215.

Notas

  1. ↑ 1.0 1.1 "What Is Reinforcement Learning From Human Feedback (RLHF)?". IBM. [1]
  2. ↑ 2.0 2.1 "Reinforcement learning from human feedback". In Wikipedia. [2]
  3. ↑ Christiano, P. et al. "Deep reinforcement learning from human preferences". arXiv:1706.03741, 2017. [3]
  4. ↑ Stiennon, N. et al. "Learning to summarize from human feedback". arXiv:2009.01325, 2020. [4]
  5. ↑ 5.0 5.1 5.2 5.3 5.4 Ouyang, L. et al. "Training language models to follow instructions with human feedback". arXiv:2203.02155, 2022. [5]
  6. ↑ 6.0 6.1 "Introducing ChatGPT". OpenAI, 2022. [6]
  7. ↑ Glaese, A. et al. "Improving alignment of dialogue agents via targeted human judgements". arXiv:2209.14375, 2022. [7]
  8. ↑ "Aligning language models to follow instructions". OpenAI. [8]
Retrieved from "https://systems-analysis.ru/int/index.php?title=Reinforcement_learning_from_human_feedback_(RLHF)_(PT)&oldid=26705"