Leksikon
Quantization (kvantisering)
Quantization krymper en AI-model, så den kan køre på billigere hardware. Forstå teknikken, der gør det muligt at køre store modeller lokalt.
Hvad er quantization?
Quantization (kvantisering) er en teknik, der krymper en AI-model ved at gemme dens tal med lavere præcision — fx 4 bit i stedet for 16. Modellen bliver mindre og hurtigere mod et lille, ofte umærkeligt, tab i kvalitet. Det er en af de vigtigste grunde til, at man i dag kan køre store sprogmodeller på en almindelig computer.
Hvorfor det betyder noget
En model i fuld størrelse kan kræve dyrt specialudstyr. Kvantiseret kan den samme model ofte køre på en bærbar eller en beskeden server. Det er forskellen på "kun i skyen hos en stor udbyder" og "kan køre hjemme hos jer" — og dermed centralt for selvhostet AI og digital suverænitet.
Afvejningen
Jo hårdere man kvantiserer, jo mindre og hurtigere — men på et tidspunkt begynder kvaliteten at lide. Der findes en sød plet (typisk omkring 4-5 bit), hvor modellen er markant mindre, men stort set lige så god. At ramme den balance er en del af håndværket, når en AI-løsning skal køre lokalt og økonomisk.
Flere opslag i leksikonet
Se hele leksikonet →Relaterede ydelser
Skal det her omsættes til noget, der virker hos jer? Så er det typisk her, vi kommer ind.
Fra begreb til løsning
Skal et af begreberne her omsættes til noget der rent faktisk virker i din virksomhed, så tag en uforpligtende snak med os.