Ollama

Hvad er Ollama?

Ollama er et værktøj, der gør det nemt at køre sprogmodeller lokalt på din egen computer eller server. Hvor det før krævede teknisk opsætning, kan man med Ollama hente og køre en model med en enkelt kommando — værktøjet klarer resten. Det er på mange måder blevet "Dockeren" for lokale AI-modeller: standardvejen, alle starter med.

Hvad det gør for dig

Ollama henter modellen, finder ud af at bruge dit grafikkort, og stiller en lokal tjeneste til rådighed, som dine egne programmer kan tale med — i et format, der ligner de store udbyderes API'er. Det betyder, at man kan udvikle mod en lokal model og senere skifte, uden at lave det hele om.

Hvorfor det betyder noget

Ollama er en stor del af, hvorfor selvhostet AI er gået fra at være for specialister til at være noget, enhver virksomhed kan komme i gang med. Det er især interessant, hvis I vil holde data i huset eller afprøve åbne modeller som Llama og Qwen, før I beslutter jer. Til produktion i stor skala findes tungere værktøjer som vLLM, men til at komme i gang er Ollama svær at slå.