Leksikon
Inferens
Inferens er det at bruge en færdigtrænet AI-model til at give svar. Forstå forskellen på at træne en model og at køre den — og hvorfor det koster.
Hvad er inferens?
Inferens er det at bruge en færdigtrænet AI-model — altså selve det at sende noget ind og få et svar ud. Det står i kontrast til træning, hvor modellen bliver til. Træning sker én gang (og er enormt dyrt); inferens sker hver eneste gang nogen bruger modellen.
Hvorfor skelnen er vigtig
For en virksomhed, der bruger AI, er det næsten altid inferens, der betyder noget — ikke træning. Det er her, omkostningen ligger i drift: hver forespørgsel koster en smule regnekraft (og dermed penge, målt i tokens). Mange gange om dagen, gange mange brugere, bliver det til en reel driftsudgift, man skal forholde sig til.
Hvor inferensen sker
Inferens kan køre to steder: hos en ekstern udbyder via et API, eller på jeres eget udstyr (selvhostet). Valget afhænger af volumen, følsomhed og økonomi — og teknikker som quantization handler netop om at gøre inferensen billigere og hurtigere. Kort sagt: træning bygger modellen, inferens er det, du betaler for at bruge den.
Flere opslag i leksikonet
Se hele leksikonet →Relaterede ydelser
Skal det her omsættes til noget, der virker hos jer? Så er det typisk her, vi kommer ind.
Fra begreb til løsning
Skal et af begreberne her omsættes til noget der rent faktisk virker i din virksomhed, så tag en uforpligtende snak med os.