Leksikon
Tokens i sprogmodeller
Tokens er de små stykker tekst, en AI læser og regner i — og det, du betaler for. Forstå begrebet, der styrer både pris og længde i AI-løsninger.
Hvad er et token?
Et token er et lille stykke tekst — typisk et ord eller en del af et ord — som en sprogmodel læser og regner i. Modellen ser ikke bogstaver eller hele sætninger; den ser en strøm af tokens. Et dansk ord fylder ofte ét til tre. Det lyder som en teknikalitet, men det rammer to ting, du holder af: pris og længde.
Hvorfor du skal kende dem
Pris: AI-tjenester afregnes pr. token — både det, du sender ind, og det, du får ud. Jo mere tekst, jo højere regning. Forstår man det, kan en løsning bygges, så den ikke bruger flere tokens end nødvendigt.
Grænser: En model kan kun rumme et vist antal tokens ad gangen — dens hukommelse i én samtale. Det afgør, hvor meget materiale den kan arbejde med på én gang.
Hvad det betyder i praksis
Når vi bygger en AI-løsning, holder vi øje med tokens, præcis som man holder øje med datatrafik. Det er forskellen mellem en funktion, der er billig at have i drift, og en, der bliver dyrere, end den behøver.
Ikke en detalje for nørder. Men måleenheden, der styrer både din regning og din løsnings grænser.
Flere opslag i leksikonet
Se hele leksikonet →Relaterede ydelser
Skal det her omsættes til noget, der virker hos jer? Så er det typisk her, vi kommer ind.
Fra begreb til løsning
Skal et af begreberne her omsættes til noget der rent faktisk virker i din virksomhed, så tag en uforpligtende snak med os.