Réduction des erreurs des LLM

La réduction des erreurs dans les grands modèles de langage (LLM) est un ensemble de méthodes et de technologies visant à améliorer la précision, la fiabilité et la sécurité des systèmes d'intelligence artificielle basés sur l'architecture Transformer. Le problème des erreurs, en particulier des hallucinations, constitue l'un des principaux obstacles à l'adoption généralisée des LLM dans des domaines critiques. Selon des études de 2024-2025, la fréquence des hallucinations dans les LLM accessibles au public varie de 3 % à 16 %.

Typologie des erreurs

La classification moderne des erreurs des LLM comprend plusieurs catégories principales, chacune nécessitant des approches spécifiques pour leur atténuation.

Hallucinations

Les hallucinations consistent en la génération de contenu plausible mais factuellement incorrect. Selon une étude de Huang et al. (2023), on distingue deux types principaux :

• Hallucinations factuelles — une divergence par rapport à des faits vérifiables, y compris la création de faits inexistants (fabrication). Dans une étude de 2024, l'Université de Stanford a découvert que les LLM avaient inventé plus de 120 affaires judiciaires inexistantes.
• Hallucinations logiques — une rupture de la cohérence logique dans le raisonnement.

Les statistiques de 2024 montrent que les chatbots ont des hallucinations dans 27 % des cas, et 46 % des textes générés contiennent des erreurs factuelles.

Biais systématiques (Bias)

Les biais dans les LLM se manifestent sous forme de préjugés sociaux (par exemple, l'association de professions à un genre spécifique) et de différences de performance démographiques. Des recherches de 2024 ont montré que parmi 10 modèles testés, la différence de scores entre différents groupes démographiques pouvait atteindre 4 points sur 10.

Toxicité

La toxicité est définie comme la génération de contenu offensant, nuisible ou discriminatoire. La métrique de toxicité varie considérablement en fonction du modèle et du contexte d'utilisation.

Méthodes de réduction des erreurs

Les stratégies de lutte contre les erreurs peuvent être divisées en deux grands groupes : les méthodes modifiant le modèle et le processus d'entraînement, et les méthodes appliquées à l'étape de l'inférence.

Modification du modèle et du processus d'entraînement

Fine-tuning et Instruction Tuning

Le Supervised Fine-Tuning (SFT) permet d'adapter les modèles pré-entraînés à des tâches spécifiques. Pour réduire les coûts de calcul, des méthodes de Parameter-Efficient Fine-Tuning (PEFT) sont utilisées, telles que LoRA et QLoRA, qui peuvent réduire les coûts du fine-tuning jusqu'à 99 % tout en conservant leur efficacité.

Apprentissage par renforcement à partir de retours humains (RLHF)

Le RLHF est un processus en deux étapes au cours duquel un modèle de récompense est d'abord entraîné sur la base des préférences humaines, puis le LLM principal est optimisé pour générer des réponses qui maximisent cette récompense. Cette méthode a prouvé son efficacité dans les modèles InstructGPT et GPT-4, améliorant considérablement leur conformité aux attentes des utilisateurs.

Constitutional AI

Développée par l'entreprise Anthropic, la méthode Constitutional AI est une alternative au RLHF. Au lieu d'un retour direct de la part des humains, le modèle apprend à suivre un ensemble de principes (une « constitution »). Cela réduit le besoin de supervision humaine de 80 à 90 % et prévient efficacement la génération de contenu malveillant.

Solutions architecturales

• Mixture of Experts (MoE) : Une architecture à activation clairsemée (sparse activation) qui permet d'augmenter considérablement la capacité du modèle sans une augmentation proportionnelle des coûts de calcul. On suppose que GPT-4 utilise 8 experts de 220 milliards de paramètres chacun.
• Modifications du mécanisme d'attention : Des techniques telles que la Grouped Query Attention (GQA) (dans les modèles Llama 3) et la Sparse Attention réduisent la complexité de calcul et les besoins en mémoire, permettant de traiter des contextes plus longs.

Méthodes à l'étape de l'inférence

Retrieval-Augmented Generation (RAG)

Le RAG est l'une des méthodes les plus efficaces pour réduire les erreurs factuelles. Avant de générer une réponse, le système consulte une base de connaissances externe (par exemple, Wikipédia, documentation d'entreprise, articles scientifiques), extrait les informations pertinentes et les transmet au modèle avec la requête initiale. Cela « ancre » (grounds) la réponse dans des faits vérifiés. Les systèmes RAG atteignent 56,8 % d' exact match sur le benchmark TriviaQA et surpassent les modèles traditionnels de 60 à 80 % dans la réduction des erreurs factuelles.

Techniques de prompting avancées

• Chain-of-Thought (CoT) : Un prompting qui incite le modèle à générer une chaîne de raisonnement étape par étape avant de donner la réponse finale. Cela améliore considérablement les résultats dans les tâches nécessitant des calculs logiques et mathématiques.
• Chain of Draft (CoD) : Une évolution de CoT, où le modèle édite itérativement les brouillons de sa réponse, ce qui permet d'atteindre une précision comparable à celle de CoT en utilisant beaucoup moins de tokens.

Autocorrection intrinsèque (Intrinsic Self-Correction)

Des recherches de TACL 2024 ont montré que la capacité des LLM à s'autocorriger sans information externe est limitée. Une autocorrection efficace nécessite généralement l'utilisation d'outils externes, tels que des interpréteurs de code pour vérifier les calculs ou des moteurs de recherche pour valider les faits.

Méthodes d'évaluation des erreurs

Pour mesurer les progrès dans la réduction des erreurs, des métriques et des benchmarks spécialisés sont utilisés.

• Métriques traditionnelles : Perplexity, BLEU et ROUGE. Elles sont utiles pour évaluer la fluidité et la coïncidence des n-grammes, mais sont peu performantes pour évaluer la précision factuelle.
• Approches modernes :
  • FactScore décompose les textes longs en faits atomiques et évalue le pourcentage de faits confirmés par une base de connaissances.
  • SAFE (Search-Augmented Factuality Evaluator) — une méthode de Google qui utilise la recherche pour vérifier les faits et atteint une cohérence de 72 % avec les évaluations humaines, tout en étant 20 fois moins coûteuse.
  • TruthfulQA — un benchmark axé sur la capacité des modèles à éviter de générer des idées fausses populaires.

Bibliographie

• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions. arXiv:2311.05232.
• Min, S. et al. (2023). FActScore: Fine-Grained Atomic Evaluation of Factual Precision in Long-Form Text Generation. arXiv:2305.14251.
• Wei, J. et al. (2024). Long-Form Factuality in Large Language Models (SAFE). arXiv:2403.18802.
• Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401.
• Hu, E. et al. (2021). LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171.
• Anthropic (2024). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Maslej, N. et al. (2024). Artificial Intelligence Index Report 2024. arXiv:2405.19522.