Lühidalt
Token on väikseim tekstiosa, mida keelemudel töötleb. Tavaliselt on see osa sõnast, terve lühike sõna või kirjavahemärk. Google'i dokumentatsiooni järgi vastab üks token Gemini mudelites umbes neljale tähemärgile. Mudelite hinnakirjad arvestavad eraldi sisend- ja väljundtokenite kaupa, seega token on ka kuluhinna mõõtühik.
Token on tükk teksti, mida mudel loeb
Keelemudel ei loe tähti ega sõnu, vaid tokeneid. Token on väikseim üksus, mida mudel töötleb: mõnikord üks täht, mõnikord terve lühike sõna, mõnikord sõnaosa. Google'i Gemini dokumentatsiooni järgi vastab üks token umbes neljale tähemärgile ja 100 tokenit umbes 60–80 inglise keele sõnale. Teksti lõikamist tokeniteks nimetatakse tokeniseerimiseks ja kõigi võimalike tokenite kogumit sõnavaraks.
See ei ole tehniline kurioosum. Token on ühik, millega arvestatakse mudeli hind, kiirus ja see, kui pikk tekst üldse mahub korraga sisse.
Kuidas tekst tokeniteks laguneb
- Levinud sõna on tavaliselt üks token:
arve. - Pikk või haruldane sõna laguneb mitmeks: liitsõna loetakse tükkide kaupa.
- Kirjavahemärk ja tühik võtavad omad tokenid, seega tabel või loend maksab rohkem kui sama pikkune lõik tekstina.
- Number ja kuupäev lagunevad sageli mitmeks osaks, mistõttu arvutabelid on tokenite mõttes kallid.
Eesti keeles võib sama sisu võtta rohkem tokeneid kui inglise keeles; see on mõõdetav, mitte eeldatav. Täpset arvu ei saa sõnu lugedes, selleks tuleb kasutada tokeniseerijat või mudeli enda tokenilugejat.
Kuidas tokenid arvele jõuavad
Iga päring koosneb sisendist ja väljundist ning suuremad hinnakirjad arvestavad neid eraldi. Sisend on kõik, mis mudelile ette pannakse: süsteemikäsklus, vestluse ajalugu, lisatud dokumendid ja kasutaja küsimus. Väljund on vastus, mida mudel ükshaaval genereerib. Väljundtoken on kallim, sest seda tuleb genereerida samm-sammult.
Sellest tuleb kaks praktilist tagajärge. Pikk süsteemikäsklus koos pika näidisega tähendab, et iga vestlus algab juba tuhandete sisendtokenitega. Ja kui mudel vastab küsimusele kolm lehekülge, kuigi piisanuks viiest lausest, maksab see rohkem kui küsimus ise.
Näide: 200 e-kirja kuus
Kujuta ette klienditoe mustandite süsteemi, mis koostab vastuse 200 e-kirjale kuus. Üks päring: süsteemikäsklus 300 tokenit, e-kirja tekst 250 tokenit, vastus 200 tokenit. Kokku 750 tokenit päringu kohta ja 150 000 tokenit kuus.
Kui samasse süsteemi lisatakse iga päringu juurde kolm lehekülge tingimusi, kasvab sisend päringu kohta mitme tuhande tokeni võrra ja kuumaht mitmekordistub, kuigi väljund jääb samaks. Nii juhtub tihti just siis, kui keegi lisab turvameetmena pika juhendi, mille sisu jääb igal korral samaks. Sama tulemuse annab lühem käsklus ja õigest kohast leitud tingimuste lõik. Kuidas ülesannete kaupa kulu arvutada, kirjeldab lähemalt artikkel AI-agendi kulu.
Tüüpvead
| Viga | Tagajärg | Parandus |
|---|---|---|
| Tokenit loetakse sõnaks | Eelarve ja mahupiirang on valed | Lugeda tokeniseerijaga päris sisenditest |
| Vestluse ajalugu saadetakse iga kord tervikuna | Kulu kasvab igas järgmises sõnumis | Hoida ajalugu lühike või kokku võetud |
| Eeldatakse, et kõik mudelid loevad ühtemoodi | Sama fail annab eri mudelitel eri arvu | Mõõta iga kasutatava mudeliga eraldi |
| Sisend- ja väljundtokenit arvestatakse sama hinnaga | Hinnang on suuruste järjekorras vale | Kasutada hinnakirja kahte eri veergu |
Mida tokenist meeles pidada
Token on kahe otsusega seotud mõõtühik: kui suure sisendi mudel korraga vastu võtab ja kui palju üks töö maksab. Mõlemat saab mõõta päris sisendi peal, mitte hinnata. Enne kui hakatakse mudelit vahetama, tasub lugeda kokku tegelikud tokenid ühe protsessi kuu kohta ja vaadata, kas kulu tuleb küsimustest või vastustest. Kui vastused on liiga pikad, aitab vormingunõue rohkem kui odavam mudel. Küsimuse poolelt vaata AI konsultatsiooni kirjeldust: esimene samm on ühe protsessi mõõtmine, mitte kogu ettevõtte mudelivahetus.
Küsimused
Kas üks sõna on alati üks token?
Ei. Lühike sõna võib olla üks token, pikk liitsõna laguneb mitmeks. Eesti keeles on palju pikki ja käändelõpulisi sõnu, mistõttu sama sisu võib võtta rohkem tokeneid kui inglise keeles. Täpse arvu saab ainult tokeniseerijaga lugedes, mitte sõnu lugedes.
Miks on väljundtoken kallim kui sisendtoken?
Sest väljundi iga token tuleb mudelil ükshaaval genereerida, samal ajal kui sisendit töödeldakse korraga. Seetõttu on suuremates hinnakirjades väljundi hind tavaliselt kõrgem kui sisendi oma; vaata oma mudeli hinnakirja ja piira pigem vastuste kui küsimuste pikkust.
Kuidas tokenite arvu vähendada ilma tulemust kaotamata?
Kolm võtet: viia korduv tausttekst süsteemikäsklusse, piirata vastuse pikkust vormingunõudega ja saata mudelile ainult see osa dokumendist, mis on päringu jaoks oluline. Viimane on sama töö, mida teeb RAG: valida välja õige lõik, mitte saata tervet faili.
Allikad
- Understand and count tokens · Google, Gemini API dokumentatsioon · vaadatud 2026-10-29
- Pricing · Anthropic · vaadatud 2026-10-29