Leksikon
llama.cpp
llama.cpp er motoren, der får AI-modeller til at køre effektivt på almindeligt udstyr. Forstå teknologien bag Ollama, LM Studio og det meste lokale AI.
Hvad er llama.cpp?
llama.cpp er en effektiv "motor" til at køre sprogmodeller på almindeligt udstyr — fra en bærbar til en server, med eller uden grafikkort. Det er et open source-projekt, der er blevet selve fundamentet under en stor del af den lokale AI-verden: både Ollama og LM Studio bygger oven på det.
Hvad der gør det vigtigt
llama.cpp er grunden til, at man overhovedet kan køre store modeller på beskedent udstyr. Det arbejder tæt sammen med quantization og standardformatet GGUF, og det er finpudset til at presse mest mulig ydeevne ud af den hardware, man har — også Apple-maskiner og almindelige pc'er.
Hvornår man møder det
De fleste rører aldrig llama.cpp direkte — man bruger det gennem et af de venligere værktøjer ovenpå. Men det er værd at vide, at det er den motor, der kører nedenunder, når en model kører lokalt. For os, der bygger selvhostede løsninger, er det en af de grundsten, hele området hviler på.
Flere opslag i leksikonet
Se hele leksikonet →Relaterede ydelser
Skal det her omsættes til noget, der virker hos jer? Så er det typisk her, vi kommer ind.
Fra begreb til løsning
Skal et af begreberne her omsættes til noget der rent faktisk virker i din virksomhed, så tag en uforpligtende snak med os.