Leksikon
Mixture of Experts (MoE)
Mixture of Experts lader en stor AI-model kun bruge den del, der er relevant for opgaven. Forstå arkitekturen bag store, men effektive modeller.
Hvad er Mixture of Experts?
Mixture of Experts (MoE) er en måde at bygge store sprogmodeller på, hvor modellen er delt op i mange "eksperter", men kun nogle få af dem aktiveres for hvert token. I stedet for at bruge hele den enorme model på hver eneste forespørgsel, vælger den dynamisk de dele, der er relevante.
Hvorfor det er smart
Det giver det bedste fra to verdener: en model kan være enorm (og dermed dygtig), men stadig hurtig og billig at køre, fordi kun en brøkdel arbejder ad gangen. Mange af de førende modeller bruger MoE netop for at presse mere kapacitet ud af mindre regnekraft.
Hvad du skal vide
Du arbejder aldrig direkte med MoE — det er maskinrum. Men det er en af grundene til, at AI er blevet både kraftigere og billigere på samme tid. Det er en teknisk detalje med en meget håndgribelig effekt: mere model for pengene.
Flere opslag i leksikonet
Se hele leksikonet →Relaterede ydelser
Skal det her omsættes til noget, der virker hos jer? Så er det typisk her, vi kommer ind.
Fra begreb til løsning
Skal et af begreberne her omsættes til noget der rent faktisk virker i din virksomhed, så tag en uforpligtende snak med os.