Leksikon

Leksikon

Red teaming

Red teaming er at angribe sin egen AI for at finde svaghederne, før andre gør. Forstå metoden, der gør AI-løsninger robuste nok til virkeligheden.

Hvad er red teaming?

Red teaming er at sætte folk til bevidst at angribe sit eget system for at finde svaghederne, før de rigtige modstandere gør. Begrebet kommer fra sikkerhedsverdenen — beslægtet med en penetrationstest — og bruges nu intenst på AI-modeller.

Hvad man leder efter i AI

Når man red-teamer en AI, prøver man at få den til at gøre det, den ikke må: omgå guardrails, afsløre følsomme data, give skadelige svar eller lade sig narre med kreative formuleringer. Alt det, man finder, bliver til forbedringer.

Hvorfor det betyder noget for dig

Hvis du bygger en kundevendt AI, vil nogen før eller siden prøve at presse den ud over kanten — af nysgerrighed eller ondskab. Det er bedre, at det er dig, der finder hullerne først. En kort, struktureret red team-øvelse, før en AI-løsning går live, fanger de pinlige fejl, mens de stadig er billige at rette.

Næste skridt

Fra begreb til løsning

Skal et af begreberne her omsættes til noget der rent faktisk virker i din virksomhed, så tag en uforpligtende snak med os.