Fenêtre de contexte

La fenêtre de contexte dans les grands modèles de langage (LLM) est la quantité maximale d'informations textuelles (en tokens) que le modèle peut prendre en compte lors de la génération d'une réponse. En d'autres termes, il s'agit d'une sorte de « mémoire de travail » du modèle, qui détermine la quantité de texte (incluant à la fois la requête initiale de l'utilisateur et les phrases précédemment générées par le modèle) qu'il peut maintenir simultanément dans son contexte. La taille de la fenêtre de contexte est mesurée en tokens — des unités de texte conventionnelles (mots, fragments de mots ou symboles) en lesquelles l'entrée est divisée pour être traitée par le modèle. La cohérence et la pertinence des réponses générées dépendent directement de la longueur de la fenêtre de contexte : un grand contexte permet au modèle de mieux prendre en compte les informations précédentes, de retenir les détails de dialogues prolongés et de ne pas perdre le fil lors du traitement de longs documents.

Évolution de la taille de la fenêtre de contexte

Les premiers modèles de langage basés sur l'architecture Transformer avaient une fenêtre de contexte relativement petite. Par exemple, en 2018-2019, la longueur maximale du contexte était de l'ordre de 512 à 1024 tokens. Le modèle GPT-3 (2020) traitait déjà jusqu'à 2048 tokens à la fois. Au début de ChatGPT (2022), la limite de contexte était d'environ 4000 tokens (environ 3000 mots), ce qui limitait la longueur de la conversation – au-delà de ~3000 mots, le chatbot commençait à « se perdre » et à halluciner hors sujet.

Les modèles phares modernes ont considérablement augmenté ce seuil : ainsi, GPT-4 est disponible en versions avec une fenêtre de 8192 et 32 768 tokens, tandis que le modèle Claude de la société Anthropic a atteint en 2023 une fenêtre de 100 000 tokens (environ 75 000 mots, soit plusieurs centaines de pages de texte). En 2024, des modèles avec un contexte d'environ 128 000 tokens (par exemple, LLaMA 3.1 de Meta) et même jusqu'à 1 million de tokens (Google Gemini 1.5 Pro) ont vu le jour. En 2025, LLAMA 4 Scout a été annoncé avec une fenêtre de contexte record allant jusqu'à 10 millions de tokens, ce qui équivaut à un texte de plusieurs dizaines de milliers de pages. Cependant, des valeurs aussi extrêmes sont en grande partie théoriques : les limitations de mémoire et de données d'entraînement ne permettent pas au modèle d'utiliser pleinement l'intégralité du contexte de 10 millions de tokens en pratique. Néanmoins, la course à l'agrandissement de la fenêtre de contexte est devenue une nouvelle étape dans le développement des LLM, comparable en importance à l'augmentation du nombre de paramètres des modèles.

Voici quelques exemples de longueurs maximales de contexte pour certains modèles :

• GPT-3 – jusqu'à ~2048 tokens
• GPT-4 – 8192 tokens (version standard) et jusqu'à 32 768 dans la version étendue
• Anthropic Claude – jusqu'à 100 000 tokens
• LLaMA 3.1 – jusqu'à 128 000 tokens
• Google Gemini 1.5 Pro – jusqu'à 1 000 000 de tokens
• Meta LLAMA 4 Scout – annoncé jusqu'à 10 000 000 de tokens

L'augmentation de la fenêtre de contexte élargit radicalement les capacités des modèles. Si 32 000 tokens correspondent à environ 50 pages de texte, 100 000 tokens représentent environ 75 000 mots. Un modèle peut traiter un tel volume en quelques secondes, par exemple, analyser un roman entier ou un rapport technique pour en extraire les détails nécessaires. Ainsi, les modèles avec un long contexte peuvent garder en mémoire des livres entiers, de grands ensembles de documents ou de longs dialogues, ce qui ouvre de nouveaux scénarios d'application — du résumé détaillé et de l'analyse questions-réponses inter-documents au traitement de larges fragments de code source.

Limites et défis des contextes longs

L'augmentation de la fenêtre de contexte est associée à de sérieux défis techniques et pratiques. Le principal d'entre eux est la croissance combinatoire de la complexité computationnelle. Dans les Transformers, le mécanisme d'auto-attention a une complexité quadratique par rapport à la longueur de la séquence : lorsque la longueur du contexte double, la mémoire et les calculs requis augmentent environ quatre fois. Par exemple, passer d'un contexte de 1024 tokens à 4096 tokens augmente théoriquement les coûts en ressources d'environ 16 fois. Cela impose des contraintes tant à l'étape de l'entraînement (où des séquences trop longues sont difficiles à utiliser en raison des limites de mémoire GPU et du temps d'entraînement) qu'à l'étape de l'inférence – les requêtes longues ralentissent considérablement la génération de réponses et augmentent son coût lors de l'utilisation d'API commerciales. Le traitement des tokens d'entrée est généralement facturé, de sorte que les longs textes fournis au modèle augmentent directement le coût de la réponse.

La surcharge informationnelle est un autre facteur important. Bien qu'une grande fenêtre permette de fournir plus de données au modèle, un excès de détails peut l'empêcher de distinguer l'essentiel du « bruit ». Des recherches montrent que les LLM modernes traitent les informations pertinentes de manière inégale : ils ont tendance à accorder plus d'attention aux faits placés au début ou à la fin d'une longue entrée de contexte (effets de primauté et de récence), et extraient beaucoup moins bien les connaissances du milieu d'un long document. La saturation du prompt avec des détails superflus peut réduire la précision de la réponse. Ainsi, au-delà d'une certaine limite, l'augmentation du volume du contexte peut être contre-productive. Une conséquence pratique est la recommandation d'inclure dans une longue requête uniquement les données vraiment nécessaires et de structurer le contexte de manière à ce que les informations clés se trouvent plus près du début (ou de la fin) du message.

De plus, il a été observé en pratique un écart entre la longueur nominale de la fenêtre et celle que le modèle utilise efficacement. De nombreux modèles ne sont pas capables de travailler aussi bien sur toute la longueur disponible — leur profondeur de contexte effective est considérablement inférieure à la longueur maximale. Par exemple, pour le modèle LLaMA 3.1 avec un contexte entraîné de 128k, les informations situées au-delà de ~64k tokens du début n'avaient pratiquement aucune influence sur les réponses lors des tests. En général, pour la plupart des LLM ouverts, il a été noté que leur mémoire effective réelle représente moins de la moitié de la longueur de contexte prévue. Les chercheurs attribuent cela aux particularités de l'entraînement : même si le modèle est formellement entraîné sur de longues séquences, les positions très éloignées apparaissent beaucoup plus rarement dans les données que les positions initiales, ce qui fait que le modèle est sous-entraîné sur la fin de la fenêtre. Dans les corpus typiques, la fréquence d'apparition des séquences très longues diminue de manière exponentielle. Une telle distribution « biaisée à gauche » des positions conduit le modèle à assimiler le contexte proche bien mieux que le contexte lointain. La solution pourrait résider dans une sélection et une annotation plus minutieuses des données d'entraînement, ainsi que dans des méthodes spéciales pour compenser les positions sous-entraînées. Dans l'ensemble, surmonter cette limitation est un domaine de recherche actif.

Méthodes d'extension de la fenêtre de contexte

L'extension de la fenêtre de contexte des LLM nécessite une combinaison d'améliorations architecturales et algorithmiques. Les principales approches utilisées dans les travaux modernes incluent :

• Entraînement sur de longues séquences. L'approche évidente est de fournir au modèle des exemples d'entraînement comparables à la longueur de contexte souhaitée. On pratique le curriculum learning sur la longueur : augmenter progressivement la taille des textes pendant le processus d'entraînement. Des techniques telles que l'accumulation de gradient et des prétraitements spéciaux des données sont également utilisées.
• Optimisation du mécanisme d'attention. Comme l'auto-attention standard a un coût quadratique, des alternatives sont activement explorées : attention clairsemée (sparse attention), fenêtre glissante (sliding window), partitionnement multidimensionnel du contexte, etc.. Par exemple, Ring Attention – une méthode d'optimisation de l'attention proposée par IBM, qui réduit la charge de calcul pour les longues séquences. Dans le modèle IBM Granite, l'ajout de l'attention en anneau a permis d'augmenter considérablement le contexte.
• Amélioration des encodages de position. Une partie cruciale de l'architecture Transformer est la manière d'encoder les positions des tokens. Les encodeurs de position absolus classiques extrapolent mal au-delà de la longueur sur laquelle ils ont été entraînés. C'est pourquoi, pour un long contexte, des positions relatives et d'autres méthodes sont utilisées. Ainsi, le modèle Granite dans sa version avec un contexte de 128k est passé de la position absolue à un encodage des tokens basé sur leur position relative. L'encodage de position rotatif (ROPE) est largement utilisé, car il préserve mieux la disposition relative des tokens éloignés et permet de mettre à l'échelle le contexte. Une autre approche, Attention with Linear Biases (ALiBi), introduit un biais croissant linéairement dans le mécanisme d'attention pour les grandes distances. Une combinaison de ces techniques – par exemple, la mise à l'échelle de la fréquence de base de ROPE (comme implémenté dans LLaMA 3) – est actuellement utilisée pour que les modèles puissent supporter une fenêtre de 100k+ tokens.
• Mémoire et compression du contexte. Une voie alternative consiste non pas à augmenter directement la longueur de la fenêtre, mais à représenter de manière compacte une longue entrée. Par exemple, l'une des technologies d'IBM consiste à ce que le modèle génère une représentation compressée (un résumé) d'un long texte à l'aide d'un autre LLM. Une autre approche consiste à connecter une mémoire à long terme externe ou des bases de connaissances : le modèle stocke les faits importants en dehors de sa fenêtre de contexte et les charge au besoin. Cette dernière option a évolué sous la forme de méthodes connues sous le nom de retrieval-augmented generation (RAG).

Il est important de noter que chacune de ces stratégies a un coût. L'entraînement sur de longs contextes nécessite des ressources de calcul colossales et des données soigneusement sélectionnées. Les nouveaux mécanismes d'attention et de positionnement complexifient l'architecture du modèle et réduisent parfois la qualité sur les textes courts. Par conséquent, les ingénieurs doivent trouver un équilibre délicat entre la taille de la fenêtre, la stabilité de l'entraînement et les performances finales du modèle.

Contextes étendus vs. récupération d'informations (RAG)

L'augmentation du contexte maximal dans les LLM à des centaines de milliers de tokens et plus a suscité un débat sur la nécessité des bases de connaissances externes et des algorithmes de recherche face à de telles capacités du modèle. Si toutes les informations pertinentes peuvent être contenues directement dans la fenêtre de contexte, le modèle peut théoriquement répondre sans recourir à des sources externes. Certains chercheurs suggèrent qu'avec l'augmentation de la fenêtre, des méthodes comme la retrieval-augmented generation (RAG), où le modèle reçoit à l'avance des textes extraits d'une base de données, pourraient perdre de leur pertinence. En faveur de cette thèse, on note par exemple les pertes d'information lors de l'étape d'extraction : la recherche ne renvoie que quelques documents principaux, alors que le « remplissage du prompt » (l'inclusion directe de données dans la requête) permet de fournir au modèle l'intégralité des informations contextuelles. Le chercheur d'IBM, Pin-Yu Chen, note que personne ne voudra s'embêter à configurer un RAG s'il est possible de simplement charger tous les livres et documents nécessaires dans le modèle en une seule fois.

Cependant, le point de vue opposé est que même une très grande fenêtre n'élimine pas le besoin de RAG. Des représentants d'IBM et d'autres experts soulignent que l' actualité des données et leur contrôle restent un problème sérieux. Un modèle avec un contexte énorme ne connaît toujours pas ce qui ne figurait pas dans ses données d'entraînement — par exemple, les nouvelles du jour. Pour inclure rapidement des informations fraîches sur demande, un mécanisme de récupération est nécessaire. De plus, dans les applications d'entreprise, le RAG permet de récupérer sélectivement des faits à partir de référentiels sécurisés, en respectant les droits d'accès et sans divulguer de données confidentielles superflues. Enfin, les considérations économiques sont également importantes : traiter des millions de tokens « à vide » est un luxe coûteux, et il est souvent plus judicieux de trouver d'abord quelques extraits vraiment pertinents (en réduisant le contexte) plutôt que de forcer le modèle à lire une entrée de mille pages à chaque fois. Pour ces raisons, le RAG reste un composant important des applications d'IA, et il est recommandé d'utiliser les grandes fenêtres de contexte avec prudence. Il est probable que des approches hybrides — combinant un contexte étendu (pour stocker des données fréquemment utilisées sous forme de cache, Cache-Augmented Generation) et une récupération sélective de nouvelles connaissances à partir de sources externes — deviendront l'architecture optimale.

Applications et perspectives

L'augmentation du contexte disponible élargit considérablement l'éventail des tâches résolues par les modèles de langage. Le résumé et l'analyse de documents longs est l'une des applications directes. Un modèle avec une fenêtre de 100k tokens peut, en une seule requête, lire un rapport volumineux, un livre ou une documentation technique et en fournir un résumé ou des réponses à des questions. Cela trouve des applications en droit (analyse et synthèse de contrats), en science (revue de littérature automatisée) et en business intelligence. Par exemple, Claude a traité avec succès l'intégralité du roman « Gatsby le Magnifique » (~72 000 tokens) et a pu identifier des modifications ponctuelles dans le texte en quelques secondes.

Support de dialogues étendus. Pour les chatbots, un grand contexte signifie la capacité de se souvenir de dizaines, voire de centaines de répliques. Une fenêtre étendue permet également d'intégrer de vastes données de référence dans la conversation.

Programmation et travail sur le code. Dans les tâches liées à l'analyse du code source, un long contexte s'est avéré particulièrement précieux. Le code est souvent réparti sur de nombreux fichiers ; pour donner une réponse correcte, le modèle doit « voir » le plus grand fragment possible de la base de code. Des recherches d'IBM ont montré que l'extension du contexte améliore notablement la qualité des modèles sur les tâches de génération de code. Le modèle Granite avec une fenêtre de 128k tokens peut traiter dans une requête un grand volume de documentation de bibliothèques.

Applications multimodales. Les modèles les plus récents (tels que les déjà mentionnés LLaMA 4, Gemini) sont multimodaux et peuvent accepter en entrée non seulement du texte, mais aussi d'autres types de données (audio, images, vidéo). Un grand contexte aide ici, par exemple, à analyser de longs enregistrements audio (transcriptions de conversations) ou des vidéos (séquence d'images avec descriptions) dans leur intégralité. Il est rapporté que le modèle Gemini 1.5 avec une fenêtre de 1M de tokens peut maintenir en contexte jusqu'à 1 heure d'audio ou 3 heures de vidéo sans perdre de détails importants. Cela ouvre des perspectives pour la transcription et le résumé automatiques de réunions de plusieurs heures, de films, etc..

Malgré des avancées impressionnantes, les experts soulignent qu'un grand contexte n'est pas une panacée, mais un outil qui requiert une utilisation judicieuse. Il augmente considérablement les exigences en matière d'infrastructure (mémoire, performance) et rend l'implémentation des modèles plus coûteuse. C'est pourquoi, lors du développement de systèmes basés sur les LLM, il est recommandé d'évaluer soigneusement quel volume de contexte est réellement nécessaire pour la tâche et de combiner les approches. Néanmoins, la tendance est claire : les futurs modèles chercheront à combiner un contexte encore plus long avec une utilisation efficace de celui-ci. La résolution des problèmes actuels (mise à l'échelle de l'attention, entraînement sur de longues séquences, élimination de l'« oubli » du milieu) permettra aux LLM de nouvelle génération de manipuler des volumes d'information encore plus grands, tout en restant précis et cohérents. Cela élargira considérablement les frontières de l'applicabilité de l'IA — de l'assistant complet aux systèmes analytiques complexes.

Liens

• Why larger LLM context windows are all the rage - IBM Research
• Context Length in LLMs: What Is It and Why It Is Important - DataNorth
• Understanding the Impact of Increasing LLM Context Windows - Meibel
• Introducing 100K Context Windows - Anthropic
• Lost in the Middle: How Language Models Use Long Contexts (arXiv)
• Why Does the Effective Context Length of LLMs Fall Short? (arXiv)
• RAG in the Era of LLMs with 10 Million Token Context Windows - F5 Labs