Leksikon
GGUF
GGUF er standardfilformatet til at køre AI-modeller lokalt. Forstå formatet, der pakker en model sammen, så den let kan deles og køres.
Hvad er GGUF?
GGUF er et filformat til AI-modeller, der skal køres lokalt. Det pakker hele modellen sammen i én fil — vægte og det hele — i en form, der er let at dele og hurtig at indlæse. Det er blevet standardformatet for værktøjer som Ollama, LM Studio og llama.cpp.
Hvad det har med quantization at gøre
GGUF-filer findes typisk i forskellige grader af quantization — altså hvor hårdt modellen er krympet. Når du henter en model i GGUF, vælger du derfor også en balance: en mindre, hurtigere fil med lidt lavere kvalitet, eller en større, der er tættere på originalen. For de fleste er en mellemvej (omkring 4-5 bit) den fornuftige standard.
Hvorfor du støder på det
Når du henter en åben model fra Hugging Face for at køre den lokalt, vil du som regel lede efter en GGUF-udgave. Du behøver ikke forstå formatet i detaljen — men det er nyttigt at vide, at det er den "pakke", en lokal model kommer i, og at filnavnet ofte afslører, hvor hårdt den er kvantiseret.
Flere opslag i leksikonet
Se hele leksikonet →Relaterede ydelser
Skal det her omsættes til noget, der virker hos jer? Så er det typisk her, vi kommer ind.
Fra begreb til løsning
Skal et af begreberne her omsættes til noget der rent faktisk virker i din virksomhed, så tag en uforpligtende snak med os.