Kontextové okno

Kontextové okno ve velkých jazykových modelech (VJM) je maximální objem textových informací (v tokenech), který je model schopen zohledňovat při formování odpovědi. Jinými slovy, jde o jakoukoliv „pracovní paměť" modelu, která určuje, kolik textu (včetně původního dotazu uživatele i dříve vygenerovaných frází modelu) může model držet v kontextu současně. Velikost kontextového okna se měří v tokenech — konvenčních jednotkách textu (slova, jejich části nebo znaky), na které se vstup rozděluje pro zpracování modelem. Na délce kontextového okna přímo závisí soudržnost a aktuálnost generovaných odpovědí: velký objem kontextu umožňuje modelu lépe zohledňovat předchozí informace, udržovat detaily dlouhých dialogů a neztrácet smysl při práci s rozsáhlými dokumenty.

Evoluce velikostí kontextového okna

První transformerové jazykové modely měly relativně malé kontextové okno. Například v letech 2018–2019 dosahovala maximální délka kontextu přibližně 512–1024 tokenů. Model GPT-3 (2020) zpracovával již až 2048 tokenů najednou. Na začátku provozu ChatGPT (2022) byl limit kontextu přibližně 4000 tokenů (přibližně 3000 slov), což omezovalo délku konverzace — při překročení ~3000 slov se chatbot začínal „ztrácet" a halucinovat mimo téma.

Soudobé vlajkové modely tento práh výrazně zvýšily: GPT-4 je dostupný ve verzích s oknem 8192 a 32 768 tokenů, model Claude od společnosti Anthropic získal v roce 2023 okno 100 000 tokenů (přibližně 75 tisíc slov, tedy několik set stránek textu). Do roku 2024 se objevily modely s kontextem přibližně 128 tisíc tokenů (například LLaMA 3.1 od Meta) a dokonce až 1 milion tokenů (Google Gemini 1.5 Pro). V roce 2025 byl oznámen LLAMA 4 Scout s rekordním kontextovým oknem až 10 milionů tokenů, což odpovídá textu o rozsahu desítek tisíc stránek. Takto extrémní hodnoty jsou však z velké části teoretické: omezení paměti a trénovacích dat neumožňuje modelu v praxi plně využít celý 10milionový kontext. Přesto se závod o rozšiřování kontextového okna stal novou etapou vývoje VJM, srovnatelnou svým významem s růstem počtu parametrů modelů.

Níže jsou uvedeny příklady maximální délky kontextu u vybraných modelů:

• GPT-3 – až ~2048 tokenů
• GPT-4 – 8192 tokenů (standardní verze) a až 32 768 v rozšířené verzi
• Anthropic Claude – až 100 000 tokenů
• LLaMA 3.1 – až 128 000 tokenů
• Google Gemini 1.5 Pro – až 1 000 000 tokenů
• Meta LLAMA 4 Scout – deklarováno až 10 000 000 tokenů

Růst kontextového okna radikálně rozšiřuje možnosti modelů. Pokud 32 tisíc tokenů odpovídá přibližně 50 stránkám textu, pak 100 tisíc tokenů představuje přibližně 75 tisíc slov. Model je přitom schopen zpracovat takový objem během několika sekund — například analyzovat celý román nebo technickou zprávu a odhalit potřebné detaily. Modely s dlouhým kontextem tak mohou uchovávat v paměti celé knihy, velké soubory dokumentů nebo rozsáhlé dialogy, což otevírá nové scénáře použití — od podrobné sumarizace a kros-dokumentní analýzy otázek a odpovědí až po práci s rozsáhlými fragmenty zdrojového kódu.

Omezení a problémy dlouhého kontextu

Rozšiřování kontextového okna je spojeno s vážnými technickými a praktickými výzvami. Hlavní z nich je kombinatorický růst výpočetní složitosti. V transformerech má mechanismus self-attention kvadratickou složitost vzhledem k délce sekvence: při zdvojnásobení délky kontextu se požadovaný objem paměti a výpočtů přibližně čtyřnásobí. Například přechod z kontextu 1024 tokenů na 4096 tokenů teoreticky zvyšuje nároky na zdroje přibližně ~16násobně. To klade omezení jak na fázi trénování (kde je obtížné používat příliš dlouhé sekvence kvůli omezením paměti GPU a délky trénování), tak na fázi použití modelu — dlouhé dotazy výrazně zpomalují generování odpovědí a prodražují je při využívání komerčních API. Za zpracování vstupních tokenů se zpravidla účtuje poplatek, takže rozsáhlé texty předkládané modelům přímo proporcionálně zvyšují cenu odpovědi.

Informační přetížení je dalším důležitým faktorem. Ačkoli velké okno umožňuje modelu přijímat více dat, přebytek detailů může způsobit, že model nevyčlení hlavní informace ze „šumu". Výzkumy ukazují, že současné VJM vnímají relevantní informace nerovnoměrně: mají tendenci věnovat větší pozornost faktům umístěným na začátku nebo na konci dlouhého kontextového vstupu (efekty primacy a recency) a podstatně hůře získávají znalosti ze středu rozsáhlého dokumentu. Přetížení promptu nadbytečnými detaily může snížit přesnost odpovědi. Po určité hranici tak může další rozšiřování objemu kontextu přinést opačný efekt. Praktickým důsledkem je doporučení zahrnovat do dlouhého dotazu pouze skutečně nezbytné informace a strukturovat kontext tak, aby klíčové informace byly co nejblíže začátku (nebo konci) zprávy.

V praxi se navíc ukázal nesoulad mezi nominální délkou okna a tou, kterou model efektivně využívá. Mnohé modely nedokážou rovnoměrně pracovat s celou dostupnou délkou — jejich efektivní hloubka kontextu je podstatně menší než maximální. Například u modelu LLaMA 3.1 s trénovaným kontextem 128k informace nacházející se za ~64k tokeny od začátku prakticky neovlivňovaly odpovědi v testech. Obecně bylo u většiny otevřených VJM zaznamenáno, že jejich skutečná efektivní paměť tvoří méně než polovinu předpokládané délky kontextu. Výzkumníci to spojují se zvláštnostmi trénování: i když je model formálně trénován na dlouhých sekvencích, velmi vzdálené pozice se v datech vyskytují mnohem méně než počáteční, takže model je nedostatečně natrénován na konci okna. V typických korpusech četnost výskytu velmi dlouhých sekvencí klesá exponenciálně. Toto „levostranně posunuté" rozdělení pozic způsobuje, že model asimiluje bližší kontext podstatně lépe než vzdálený. Řešením může být jak pečlivější výběr a anotace trénovacích dat, tak speciální metody kompenzující nedostatečně natrénované pozice. Celkově je překonání tohoto omezení aktivní oblastí výzkumu.

Metody rozšiřování kontextového okna

Rozšiřování kontextového okna VJM vyžaduje kombinaci architektonických a algoritmických vylepšení. Hlavní směry používané v moderních pracích zahrnují:

• Trénování na dlouhých sekvencích. Zřejmý přístup — poskytnout modelu trénovací příklady srovnatelné s požadovanou délkou kontextu. Praktikuje se curriculum learning podle délky: postupné zvyšování velikosti textů v průběhu trénování. Používají se také techniky jako akumulace gradientu a speciální předzpracování dat.
• Optimalizace mechanismu attention. Protože standardní self-attention má kvadratické náklady, jsou aktivně zkoumány alternativy: řídká attention (sparse attention), posuvné okno (sliding window), vícerozměrné dělení kontextu a další. Například Ring Attention — metoda optimalizace attention navržená IBM — snižuje výpočetní zátěž při dlouhých sekvencích. Přidání ring attention do modelu IBM Granite umožnilo výrazně rozšířit kontext.
• Vylepšení pozičního kódování. Klíčovou součástí transformeru je způsob kódování pozic tokenů. Klasické absolutní poziční enkodéry špatně extrapolují za hranici délky, na níž byly trénovány. Pro dlouhý kontext se proto používají relativní pozice a jiné metody. Model Granite ve verzi s kontextem 128k přešel od absolutní pozice ke kódování tokenů podle relativní polohy. Hojně se využívá rotary poziční kódování (RoPE), které lépe zachovává vzájemnou polohu vzdálených tokenů a umožňuje škálování kontextu. Dalším přístupem je Attention with Linear Biases (ALiBi), který do mechanismu attention zavádí lineárně narůstající posun pro velké vzdálenosti. Kombinace těchto postupů — například škálování základní frekvence RoPE (jak je implementováno v LLaMA 3) — se dnes používá, aby modely mohly podporovat okna 100k+ tokenů.
• Paměť a komprese kontextu. Alternativní cesta — nezvyšovat přímo délku okna, ale kompaktně reprezentovat dlouhý vstup. Například jedna z technologií IBM spočívá v tom, že model generuje komprimovanou reprezentaci (souhrn) dlouhého textu pomocí jiného VJM. Dalším přístupem je připojení externí dlouhodobé paměti nebo znalostních bází: model ukládá důležité fakty mimo své kontextové okno a podle potřeby je načítá. Poslední varianta se rozvinula v podobě metod známých jako retrieval-augmented generation (RAG).

Je důležité poznamenat, že každá z uvedených strategií má svou cenu. Trénování na dlouhých kontextech vyžaduje kolosální výpočetní zdroje a pečlivě vybraná data. Nové mechanismy attention a pozic komplikují architekturu modelu a někdy snižují kvalitu na krátkých textech. Inženýři proto musí pečlivě vyvažovat velikost okna, stabilitu trénování a výsledný výkon modelu.

Velké kontexty vs. získávání informací (RAG)

Růst maximálního kontextu VJM na stovky tisíc a více tokenů vyvolal diskusi o tom, zda jsou při takových možnostech modelu potřeba externí znalostní báze a vyhledávací algoritmy. Pokud se všechny relevantní informace vejdou přímo do kontextového okna, může model teoreticky odpovědět bez obrácení se na externí zdroje. Někteří výzkumníci předpokládají, že s rozšiřováním okna mohou metody typu retrieval-augmented generation (RAG), kdy model předem obdrží texty získané z databáze, ztratit na aktuálnosti. Svědčí o tom například informační ztráty ve fázi získávání: vyhledávání vrací jen několik nejlepších dokumentů, zatímco „prompt-stuffing" (přímé zahrnutí dat do dotazu) umožňuje modelu přijmout veškeré kontextové informace jako celek. Výzkumník IBM Pin-Yu Chen poznamenává, že nikdo nebude chtít řešit nastavení RAG, pokud lze do modelu jednoduše nahrát všechny potřebné knihy a dokumenty najednou.

Protichůdný pohled však spočívá v tom, že ani velmi velké okno neodstraňuje potřebu RAG. Zástupci IBM a další odborníci zdůrazňují, že aktuálnost dat a jejich kontrola zůstávají závažným problémem. Model s obrovským kontextem stejně nezná to, co nebylo v jeho trénovacích datech — například dnešní zprávy. Pro operativní zahrnutí čerstvých informací na vyžádání je mechanismus retrieveru nezbytný. Navíc v podnikových aplikacích umožňuje RAG selektivně načítat fakta z chráněných úložišť, dodržovat přístupová práva a neprozrazovat zbytečné důvěrné informace. V neposlední řadě jsou důležité také ekonomické důvody: zpracování milionů tokenů „naprázdno" je nákladná záležitost a často je rozumnější nejprve vyhledat několik skutečně relevantních pasáží (zmenšit kontext), než nutit model pokaždé číst vstup o délce tisíce stránek. Z těchto důvodů zůstává RAG prozatím důležitou součástí AI aplikací a velká kontextová okna se doporučuje používat obezřetně. Pravděpodobně se optimální architekturou stanou hybridní přístupy — kombinace rozšířeného kontextu (pro ukládání často používaných dat ve formě cache, Cache-Augmented Generation) a selektivního získávání nových znalostí z externích zdrojů.

Využití a perspektivy

Rozšiřování dostupného kontextu výrazně rozšiřuje okruh úloh řešitelných jazykovými modely. Sumarizace a analýza rozsáhlých dokumentů jsou jedním z bezprostředních využití. Model s oknem 100k tokenů je schopen v jednom dotazu přečíst objemnou zprávu, knihu nebo technickou dokumentaci a podat jejich souhrn nebo odpovědět na otázky. Uplatnění nachází v právu (rozbor a výpisky ze smluv), vědě (automatický přehled literatury) a obchodní analytice. Například Claude úspěšně zpracovával celý román „Velký Gatsby" (~72 000 tokenů) a dokázal během několika sekund odhalit v textu dílčí úpravy.

Podpora dlouhodobých dialogů. Pro chatboty znamená velký kontext schopnost pamatovat si desítky a stovky replik. Rozšířené okno také umožňuje integrovat do konverzace rozsáhlá referenční data.

Programování a práce s kódem. V úlohách spojených s analýzou zdrojového kódu se ukázal dlouhý kontext jako zvláště cenný. Kód je často rozložen do mnoha souborů; aby model poskytl správnou odpověď, musí „vidět" co největší část kódové základny. Výzkumy IBM ukázaly, že rozšíření kontextu výrazně zvyšuje kvalitu modelů při úlohách generování kódu. Model Granite s oknem 128k tokenů je schopen přijmout v dotazu velký objem dokumentace ke knihovnám.

Multimodální aplikace. Nejnovější modely (jako již zmíněné LLaMA 4, Gemini) jsou multimodální a mohou přijímat na vstup nejen text, ale i jiné typy dat (audio, obrázky, video). Velký kontext zde pomáhá například analyzovat dlouhé audio nahrávky (přepisy rozhovorů) nebo videa (sekvence snímků s popisy) v celku. Uvádí se, že model Gemini 1.5 s oknem 1M tokenů je schopen udržet v kontextu až 1 hodinu zvuku nebo 3 hodiny videa bez ztráty důležitých detailů. To otevírá perspektivy pro automatický přepis a sumarizaci vícehodinových porad, filmů apod..

Navzdory působivým výsledkům odborníci zdůrazňují, že velký kontext není všelékem, ale nástrojem vyžadujícím odborné použití. Výrazně zvyšuje nároky na infrastrukturu (paměť, výkonnost) a prodražuje nasazení modelů. Proto se při vývoji systémů na bázi VJM doporučuje pečlivě posoudit, jaký objem kontextu je pro danou úlohu skutečně nezbytný, a kombinovat různé přístupy. Trend je nicméně zřejmý: budoucí modely budou usilovat o ještě delší kontext kombinovaný s jeho efektivním využíváním. Řešení současných problémů (škálování attention, trénování na dlouhých sekvencích, odstraňování „zapomínání" středu) umožní VJM nové generace pracovat s ještě většími objemy informací, přičemž zůstanou přesné a konzistentní. To výrazně rozšíří hranice použitelnosti AI — od plnohodnotného asistenta až po složité analytické systémy.

Odkazy

• Why larger LLM context windows are all the rage - IBM Research
• Context Length in LLMs: What Is It and Why It Is Important - DataNorth
• Understanding the Impact of Increasing LLM Context Windows - Meibel
• Introducing 100K Context Windows - Anthropic
• Lost in the Middle: How Language Models Use Long Contexts (arXiv)
• Why Does the Effective Context Length of LLMs Fall Short? (arXiv)
• RAG in the Era of LLMs with 10 Million Token Context Windows - F5 Labs