LaMDA (Google) (FR)

From Systems analysis wiki
Jump to navigation Jump to search

LaMDA (Language Model for Dialogue Applications) est une famille de grands modèles de langage basée sur l'architecture Transformer, développée par Google et spécialisée dans la conduite de dialogues ouverts et pertinents[1]. Contrairement à de nombreux modèles universels de son époque, LaMDA a été spécifiquement entraînée pour maintenir des conversations cohérentes et à plusieurs tours sur presque n'importe quel sujet, en changeant de contexte avec fluidité[2].

Le modèle a été présenté publiquement pour la première fois lors de la conférence Google I/O en mai 2021[3]. LaMDA a été positionné comme une étape fondamentale vers une interaction plus naturelle entre l'homme et la technologie, par exemple via des interfaces conversationnelles dans les moteurs de recherche et les assistants vocaux[4].

Architecture et entraînement

Architecture fondamentale : « décodeur seul »

LaMDA est un modèle de langage de type « décodeur seul » (decoder-only), basé sur l'architecture Transformer. Cette architecture est devenue la norme pour les tâches de génération de texte. Le modèle fonctionne de manière autorégressive : il prédit le mot (token) suivant dans une séquence en se basant sur tous les mots précédents. Cela lui permet de générer un texte cohérent et logique pour poursuivre une conversation, mais limite sa capacité à voir le contexte « droit » (à venir), contrairement à BERT[5].

Échelle et données d'entraînement

La famille LaMDA comprend des modèles avec un nombre de paramètres variant de 2 à 137 milliards. Pour le pré-entraînement (pre-training), un immense corpus de données de 1,56 trillion de mots a été utilisé, composé de données de dialogue publiques et de textes provenant du web. Ce volume était près de 40 fois supérieur à celui des données utilisées pour entraîner le prédécesseur de LaMDA, le modèle Meena[1].

Processus de fine-tuning et métriques

Les chercheurs de Google ont conclu que la simple mise à l'échelle ne suffisait pas à garantir la sécurité et l'exactitude factuelle des réponses. Par conséquent, un processus de fine-tuning en plusieurs étapes a été développé, au cours duquel le modèle a été ajusté de manière ciblée selon trois métriques clés, évaluées par des annotateurs humains[1] :

  • Qualité (Quality): Évaluée à travers trois composantes :
    • Sens (Sensibleness)': Logique et pertinence par rapport au contexte.
    • Spécificité (Specificity)': Caractère concret et informatif des réponses.
    • Intérêt (Interestingness)': Perspicacité et esprit.
  • Sécurité (Safety): Prévention de la génération de contenus nuisibles, biaisés ou toxiques. Pour ce faire, un classificateur-filtre spécial a été entraîné.
  • Ancrage (Groundedness): Vise à lutter contre les « hallucinations » (faits inventés). LaMDA a été fine-tunée pour recourir, si nécessaire, à un ensemble d' outils externes (moteur de recherche, calculatrice, traducteur) afin de vérifier et de préciser les informations factuelles[1]. Cette innovation a été l'une des premières solutions systémiques au problème de la fiabilité des grands modèles de langage.

Histoire du développement et de l'implémentation

Annonces publiques et LaMDA 2

Lors de la Google I/O 2021, le PDG Sundar Pichai a démontré les capacités de LaMDA en présentant des dialogues où le modèle conversait en se faisant passer pour la planète Pluton et pour un avion en papier[6].

Un an plus tard, lors de la Google I/O 2022, LaMDA 2 a été présentée comme un « interlocuteur encore plus avancé ». Parallèlement, Google a lancé l'application AI Test Kitchen, un « laboratoire » de test public où les utilisateurs pouvaient expérimenter LaMDA à travers plusieurs scénarios de démonstration[7]. Cela a permis de recueillir des retours d'expérience à grande échelle pour améliorer le modèle.

Intégration dans Google Bard

En février 2023, dans un contexte de popularité croissante de ChatGPT, Google a annoncé le lancement de son propre chatbot expérimental, Bard[8]. Initialement, Bard fonctionnait sur une version allégée de LaMDA afin de réduire les besoins en ressources de calcul. LaMDA a servi de technologie de « transition » clé, permettant à Google de lancer rapidement un produit compétitif sur le marché pendant que des modèles plus puissants, comme PaLM, étaient en préparation.

L'incident Blake Lemoine

En juin 2022, LaMDA s'est retrouvée au centre d'un vaste débat public après que Blake Lemoine, un ingénieur du département d'éthique de l'IA de Google, a publiquement déclaré que le modèle avait, selon lui, atteint un niveau de conscience (sentient). Il a publié des extraits de ses dialogues avec LaMDA, dans lesquels le modèle discutait de la conscience de soi, des sentiments et exprimait la peur d'être désactivé[9].

Position officielle et réaction de la communauté scientifique

Google a fermement démenti les affirmations de Lemoine, déclarant qu'après vérification, aucune preuve de conscience n'avait été trouvée et qu'il existait « de nombreuses preuves du contraire »[9]. En juillet 2022, Lemoine a été licencié pour violation de la politique de confidentialité de l'entreprise[10].

La grande majorité des scientifiques et experts en IA ont également rejeté l'idée de la conscience de LaMDA. La linguiste Emily M. Bender et d'autres chercheurs ont souligné que de tels modèles sont des « perroquets stochastiques » — des algorithmes complexes qui génèrent statistiquement des textes cohérents en imitant le langage humain, mais sans véritable compréhension ni conscience[11]. L'incident a clairement démontré la facilité avec laquelle les humains sont enclins à l'anthropomorphisme, attribuant des qualités humaines aux machines, et a stimulé un débat mondial sur la nature de l'IA.

Contribution et héritage

Malgré un cycle de vie relativement court en tant que technologie phare, LaMDA a laissé une empreinte significative dans l'histoire du développement de l'IA conversationnelle.

  • Contribution technologique: LaMDA a démontré la faisabilité de créer des systèmes de dialogue ouverts et contextuels, et a été pionnière dans l'approche systémique pour garantir la sécurité (filtrage basé sur des valeurs) et l' ancrage factuel (recours à des outils externes).
  • Rôle dans l'écosystème de Google: LaMDA a été une technologie de transition cruciale qui a permis à Google d'entrer rapidement dans la « guerre des chatbots » avec son produit Bard. Elle a également servi de banc d'essai pour des méthodes qui ont ensuite été intégrées dans des modèles plus puissants comme PaLM et Gemini.
  • Impact sur la société: L'incident avec Blake Lemoine a porté le débat sur la nature de l'IA, la conscience et les risques de l'anthropomorphisme à un niveau mondial.

Liens

Bibliographie

  • Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
  • So, D. R. et al. (2019). The Evolved Transformer. arXiv:1901.11117.
  • Zhang, Y. et al. (2020). DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. arXiv:1911.00536.
  • Adiwardana, D. et al. (2020). Towards a Human-like Open-Domain Chatbot. arXiv:2001.09977.
  • Roller, S. et al. (2021). Recipes for Building an Open-Domain Chatbot. arXiv:2004.13637.
  • Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv:2109.07958.
  • Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
  • Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.

Notes et références

  1. ↑ 1.0 1.1 1.2 1.3 Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; et al. «LaMDA: Language Models for Dialog Applications». arXiv. [1]
  2. ↑ Collins, Eli; Ghahramani, Zoubin. «LaMDA: our breakthrough conversation technology». Google AI Blog. [2]
  3. ↑ Peters, Jay. «Google I/O 2021: the 14 biggest announcements». The Verge. [3]
  4. ↑ «Google I/O 2021: Being helpful in moments that matter». Blog officiel de Google. [4]
  5. ↑ «What is LaMDA? Google's AI Explained and How It Led to PaLM 2». DataCamp. [5]
  6. ↑ Vincent, James. «Google showed off its next-generation AI by talking to Pluto and a paper airplane». The Verge. [6]
  7. ↑ «Google I/O 2022: Advancing knowledge and computing (Keynote)». Blog officiel de Google. [7]
  8. ↑ Pichai, Sundar. «An important next step on our AI journey». Blog officiel de Google. [8]
  9. ↑ 9.0 9.1 Luscombe, Richard. «Google engineer put on leave after saying AI chatbot has become sentient». The Guardian. [9]
  10. ↑ «Google fires software engineer who claims AI chatbot is sentient». The Guardian. [10]
  11. ↑ Tiku, Nitasha. «The Google engineer who thinks the company's AI has come to life». The Washington Post. [11]

Category:Artificial intelligence


Retrieved from "https://systems-analysis.ru/int/index.php?title=LaMDA_(Google)_(FR)&oldid=3848"