Jak počítáme náklady: tokeny a kredity

V posledních týdnech dostáváme mnoho dotazů na to, jak počítáme náklady. Co jsou kredity. Co jsou tokeny. Proč krátká zpráva někdy spotřebuje více, než by člověk očekával. Proto jsme se rozhodli vysvětlit, jak to funguje.

Co je token

Když čtete tento odstavec, vnímáte slova a věty. Model však text takto nevidí. Nejprve jej rozdělí na malé části a teprve s nimi dokáže pracovat. Těmto částem se říká tokeny.

Token může být celé krátké slovo, část delšího slova, mezera nebo čárka. Přesné rozdělení závisí na modelu. Pro základní představu to nemusíte řešit: počítejte s tím, že jeden token je přibližně jedno slovo.

Důležité je něco jiného. Spotřeba nezávisí na délce věty, kterou vidíte v textovém poli. Závisí na tom, kolik těchto částí model při odpovědi přečte a kolik jich vytvoří.

Čtyři typy tokenů

Ne každý token stojí stejně. U jedné zprávy se obvykle setkáte se čtyřmi typy.

Vstupní tokeny jsou to, co model čte. Vaše nová zpráva, starší zprávy v konverzaci, systémové pokyny, popis nástrojů, přiložené soubory i text vrácený vyhledáváním.

Výstupní tokeny jsou tokeny, které model vytvoří jako odpověď. Především text, který vidíte v chatu.

Reasoning tokeny model používá při svém interním procesu uvažování před odpovědí.

Cached read tokeny vznikají, když model znovu použije část již zpracovaného kontextu. Jsou o něco složitější, proto je zatím nebudeme vysvětlovat.

Co se stane, když napíšete zprávu

Když odešlete zprávu, aplikace sestaví počáteční kontext pro model. Kontext si můžete představit jako pracovní paměť modelu: vše, co má v dané chvíli k dispozici a z čeho při práci vychází. Není to pouze vaše poslední otázka. Jak s kontextem pracovat, ukazujeme v krátkém videu Praktik akademie.

V počátečním kontextu jsou systémové pokyny, které agentovi říkají, jak má pracovat a jaké nástroje může použít. Jsou v něm předchozí zprávy v konverzaci, aby model věděl, na co navazuje. Nakonec se přidá vaše nová zpráva a přílohy.

Celý tento kontext se rozdělí na vstupní tokeny a model začne generovat. To však nemusí znamenat, že ihned píše finální odpověď. Nejprve může vygenerovat požadavek na použití nástroje, například na vyhledávání v právních zdrojích.

Nástroj provede vyhledávání a vrátí výsledky agentovi. Ty se přidají do kontextu a model pokračuje v generování s novými informacemi. Během generování může model také používat svůj interní proces uvažování.

Pokud potřebuje další podklady, může použít další nástroj. Takto pokračuje, dokud nemá dostatek informací k vytvoření finální odpovědi.

Pokud například požádáte agenta, aby přečetl konkrétní dokument, začne s vaším požadavkem a přiloženým souborem. Pomocí nástroje načte jeho obsah. Výsledek se přidá do kontextu a model z něj připraví odpověď.

To vše se promítne do spotřeby. Systémové pokyny, zprávy, přílohy a výsledky nástrojů tvoří vstupní tokeny. To, co model během práce vytvoří, například požadavky na nástroje, interní uvažování modelu nebo finální odpověď, tvoří výstupní a reasoning tokeny.

Jak funguje spotřeba

Poskytovatelé AI modelů stanovují ceny podle počtu a typu zpracovaných tokenů. Sazby se u jednotlivých modelů liší.

V Praktiku tyto náklady přepočítáváme na kredity. Počet kreditů u konkrétního úkolu proto není pevný. Závisí na použitém modelu i na množství tokenů, které zpracuje během celé práce. Delší kontext, rozsáhlé přílohy nebo více kroků rešerše mohou znamenat vyšší spotřebu.

Kredity jsou součástí předplatného a jejich spotřebu vidíte přímo v aplikaci. Pokud je vyčerpáte, můžete si dokoupit další. Více o kreditech najdete na cenové stránce Praktiku.

Tokeny vyjadřují množství textu, se kterým model pracuje. Kredity převádějí náklady různých modelů a typů tokenů na jednu společnou jednotku v Praktiku.

Vyzkoušejte si to na vlastním úkolu

Otevřete Praktik a vyzkoušejte agenta s vlastní otázkou nebo dokumentem. Spotřebu kreditů uvidíte přímo v aplikaci. Podrobnosti o kreditech a jednotlivých plánech najdete na cenové stránce Praktiku.