Přeskočit na obsah

Kompaktování kontextu v Praktiku

Při delší práci s právním AI agentem v Praktiku se může zobrazit informace, že proběhlo kompaktování. Tato stránka vysvětluje, co to znamená a proč to může ovlivnit výkon agenta.

AI agenti si konverzaci nepamatují stejně jako člověk. Při každé odpovědi model dostane pouze omezené množství textu, kterému se říká kontextové okno: vaše zprávy, předchozí odpovědi agenta, výsledky nástrojů, úryvky dokumentů, právní zdroje a systémové instrukce.

Dlouhé právní rešerše nebo revize dokumentů se mohou časem přiblížit tomuto limitu. Výkon se ale může zhoršovat už před dosažením tvrdého limitu, protože model musí prohledávat více informací a má méně pozornosti pro každý detail. Anthropic tento jev označuje jako context rot: s rostoucím kontextem může být vybavování starších detailů a práce s nimi méně spolehlivá.

Když je dosažen práh, Praktik může použít kompaktování, aby agent mohl pokračovat v úkolu.

Kompaktování znamená, že starší část konverzace se shrne do kratší podoby. Toto shrnutí potom nahradí velkou část původní historie, aby agent mohl pokračovat místo toho, aby se zastavil.

Dobré kompaktování se snaží zachovat:

  • cíl uživatele a omezení,
  • důležitá rozhodnutí, která už padla,
  • soubory, dokumenty, právní zdroje nebo úryvky dokumentů, které se použily,
  • aktuální stav práce a nevyřešené úkoly,
  • upozornění, chyby, citace nebo okrajové případy, na které se nemá zapomenout.

Kompaktování je užitečné, ale není dokonalé. Shrnutí je ztrátové: zachová hlavní body, ale část nuancí, odůvodnění nebo drobných detailů se může ztratit. Pokud se relace kompaktuje opakovaně, tyto malé ztráty se mohou hromadit. Agent pak může být méně přesný, přehlédnout starší kontext, zapomenout, proč byl použit konkrétní právní zdroj, nebo dělat předpoklady o věcech, které už byly vyřešeny.

Po kompaktování můžete v konverzaci pokračovat, ale u důležité práce doporučujeme nejprve obnovit klíčový kontext:

  • požádejte agenta, aby shrnul vše podstatné, co jste zatím zjistili, domluvili nebo vytvořili,
  • nechte ho uvést také použité právní zdroje, citace, otevřené otázky a předpoklady,
  • pokud chcete pokračovat s vyšší spolehlivostí, zkopírujte toto shrnutí do nové konverzace a pokračujte tam,
  • pokud pokračujete v původní konverzaci, zopakujte kritické požadavky a nechte agenta potvrdit, že jim rozumí,
  • důležitá fakta si ukládejte i mimo chat – například do dokumentu, poznámek k věci nebo úkolů.

Kompaktování pomáhá Praktik agentům pokračovat za hranicí jejich běžné pracovní paměti, ale je dobré ho chápat jako pomůcku pro pokračování v práci – ne jako záruku, že každý detail zůstane zachován navždy.