Ako počítame náklady: tokeny a kredity

Posledné týždne nám chodí veľa otázok o tom, ako počítame náklady. Čo sú kredity. Čo sú tokeny. Prečo krátka správa niekedy zoberie viac, než by človek čakal. Preto sme sa rozhodli vysvetliť, ako to funguje.

Čo je token

Keď čítate tento odsek, vnímate slová a vety. Model text takto nevidí. Najprv ho rozdelí na malé kúsky a až s tými kúskami vie pracovať. Tým kúskom sa hovorí tokeny.

Token môže byť celé krátke slovo, časť dlhšieho slova, medzera alebo čiarka. Presné delenie závisí od modelu. Pre bežnú predstavu to netreba riešiť: počítajte, že jeden token je približne jedno slovo.

Dôležité je niečo iné. Spotreba nezávisí od dĺžky vety, ktorú vidíte v poli. Závisí od toho, koľko týchto kúskov model pri odpovedi prečíta a koľko ich vytvorí.

Štyri druhy tokenov

Nie každý token stojí rovnako. Pri jednej správe sa zvyčajne stretnete so štyrmi druhmi.

Vstupné tokeny sú to, čo model číta. Vaša nová správa, staršie správy v konverzácii, systémové pokyny, popis nástrojov, priložené súbory aj text, ktorý vrátilo vyhľadávanie.

Výstupné tokeny sú tokeny, ktoré model vytvorí ako odpoveď. Najmä text, ktorý vidíte v chate.

Reasoning tokeny používa model pri svojom internom procese uvažovania pred odpoveďou.

Cached read tokeny vznikajú, keď model znovu použije časť už spracovaného kontextu. Sú trochu zložitejšie, preto ich zatiaľ nebudeme vysvetľovať.

Čo sa stane, keď napíšete správu

Keď odošlete správu, aplikácia zostaví počiatočný kontext pre model. Kontext si môžete predstaviť ako pracovnú pamäť modelu: všetko, čo má v danej chvíli k dispozícii a z čoho pri práci vychádza. Nie je to iba vaša posledná otázka. Ako s kontextom pracovať, ukazujeme v krátkom videu Praktik akadémie.

V počiatočnom kontexte sú systémové pokyny, ktoré hovoria agentovi, ako má pracovať a aké nástroje môže použiť. Sú v ňom predchádzajúce správy v konverzácii, aby model vedel, na čo nadväzuje. Nakoniec sa pridá vaša nová správa a prílohy.

Celý tento kontext sa rozdelí na vstupné tokeny a model začne generovať. To však nemusí znamenať, že hneď píše finálnu odpoveď. Môže najskôr vygenerovať požiadavku na použitie nástroja, napríklad na vyhľadávanie v právnych zdrojoch.

Nástroj vykoná vyhľadávanie a vráti výsledky agentovi. Tie sa pridajú do kontextu a model pokračuje v generovaní s novými informáciami. Počas generovanie môze model aj “rozmýšlať” pomocou jeho intérneho rozmýšlania.

Ak potrebuje ďalšie podklady, môže použiť ďalší nástroj. Takto pokračuje, kým nemá dostatok informácií na vytvorenie finálnej odpovede.

Ak napríklad požiadate agenta, aby prečítal konkrétny dokument, začne s vašou požiadavkou a priloženým súborom. Pomocou nástroja načíta jeho obsah. Výsledok sa pridá do kontextu a model z neho pripraví odpoveď.

To všetko sa premietne do spotreby. Systémové pokyny, správy, prílohy a výsledky nástrojov tvoria vstupné tokeny. To, čo model počas práce vytvorí, napríklad požiadavky na nástroje, vnútorné zamýšlanie modelu alebo finálnu odpoveď, tvorí výstupné a reasoning tokeny.

Ako funguje spotreba

Poskytovatelia AI modelov stanovujú ceny podľa počtu a typu spracovaných tokenov. Sadzby sa líšia medzi jednotlivými modelmi.

V Praktiku tieto náklady prepočítavame na kredity. Počet kreditov pri konkrétnej úlohe preto nie je pevný. Závisí od použitého modelu aj od množstva tokenov, ktoré spracuje počas celej práce. Dlhší kontext, rozsiahle prílohy alebo viac krokov rešerše môžu znamenať vyššiu spotrebu.

Kredity sú súčasťou predplatného a ich spotrebu vidíte priamo v aplikácii. Ak ich miniete, môžete si dokúpiť ďalšie. Viacej o kreditov na cenovej stránke Praktiku.

Tokeny vyjadrujú množstvo textu, s ktorým model pracuje. Kredity prevádzajú náklady rôznych modelov a typov tokenov na jednu spoločnú jednotku v Praktiku.

Vyskúšajte si to na vlastnej úlohe

Otvorte Praktik a vyskúšajte agenta s vlastnou otázkou alebo dokumentom. Spotrebu kreditov uvidíte priamo v aplikácii. Podrobnosti o kreditoch a jednotlivých plánoch nájdete na cenovej stránke Praktiku.