Leksikon
Context window
Et context window er den mængde tekst, en AI kan have i hovedet på én gang. Forstå hvorfor det afgør, hvor store opgaver en sprogmodel kan håndtere.
Hvad er et context window?
Et context window er den mængde tekst, en sprogmodel kan arbejde med på én gang — dens korttidshukommelse, målt i tokens. Alt det, du sender ind, plus det modellen svarer, skal være inden for vinduet.
Hvorfor det betyder noget
Vinduet sætter grænsen for, hvor store opgaver modellen kan tage. Et lille vindue kan ikke rumme en hel kontrakt eller en lang samtale; et stort kan tage hundredvis af sider på én gang. De nyeste modeller har vinduer på flere hundrede tusinde tokens — nok til hele dokumentsamlinger.
Hvad det betyder i praksis
Når en løsning skal arbejde med meget materiale, er der to veje: en model med et stort vindue, eller RAG, der kun henter de relevante stykker ind ad gangen. Tit er RAG både billigere og mere præcist, fordi modellen ikke drukner i irrelevant tekst.
Kort sagt afgør context window, hvor meget en AI kan overskue i ét hug — og det er en af de første ting, vi tager højde for, når vi bygger.
Flere opslag i leksikonet
Se hele leksikonet →Relaterede ydelser
Skal det her omsættes til noget, der virker hos jer? Så er det typisk her, vi kommer ind.
Fra begreb til løsning
Skal et af begreberne her omsættes til noget der rent faktisk virker i din virksomhed, så tag en uforpligtende snak med os.