Når AI får handle på våre vegne – hvem har kontrollen?

Av:
Lars Berg, Head of Legal & Privacy, Telenor Cyberdefence

AI kan gjøre virksomheter mer effektive, redusere manuelt arbeid og gi oss bedre beslutningsstøtte. Men risikobildet endrer seg når vi går fra å bruke AI til å analysere og foreslå, til å la teknologien utføre handlinger på våre vegne.

Da handler det ikke lenger bare om hva AI kan gjøre, men hvilke tilganger og fullmakter vi gir systemet – og hvordan vi sikrer at det ikke gjør mer enn det skal.

Tenk deg følgende situasjon: En AI-assistent får i oppgave å oppsummere en rapport fra en ekstern leverandør og følge opp saken. Oppgaven er helt legitim. Men hva skjer dersom rapporten inneholder instruksjoner som forsøker å manipulere AI-assistenten til å hente ut intern informasjon eller dele opplysninger videre?

Scenarioet er realistisk og fiktivt. Det er utviklet for å illustrere en plausibel hendelseskjede og beskriver ikke en konkret kundehendelse.

Dette er en konkret sikkerhetsutfordring når AI kobles til virksomhetens data, systemer og arbeidsprosesser. En AI-assistent kan ha tilgang til flere systemer og utføre handlinger på tvers av dem. Risikoen oppstår når disse tilgangene kombineres på måter som gir systemet større handlingsrom enn virksomheten har oversikt over.

Vi må derfor tenke lenger enn selve AI-løsningen.

Det er lett å fokusere på funksjonalitet og automatisering fordi gevinstene er synlige. Men sikkerhet må bygges inn fra starten. AI-systemer som handler på vegne av virksomheten, bør ha egne identiteter, begrensede tilganger og tydelige rammer for hva de kan utføre. De bør ikke ha mer tilgang enn det oppgaven krever.

Det krever også løpende oppfølging. Virksomheten må kunne se hvilke handlinger systemet utfører, hvilke data det bruker, og gripe inn dersom noe går galt.

Dette koster tid, penger og kompetanse. Kontrollkostnaden forsvinner ikke når den utelates fra prosjektet. Den flyttes til drift – eller til hendelsen.

Hvis virksomheten ikke kan etablere og opprettholde nødvendige sikkerhetskontroller, må AI-systemet få mindre handlingsrom. Det gjelder særlig handlinger som kan få store konsekvenser for virksomheten, kundene eller ansatte.

Vi bør også skille tydelig mellom ulike nivåer av handlekraft:

Å lese er ikke det samme som å anbefale. Å anbefale er ikke det samme som å klargjøre. Å klargjøre er ikke det samme som å utføre.

Jo større konsekvenser en handling kan få, desto viktigere er det å vurdere om den skal utføres automatisk, eller om den bør kreve menneskelig godkjenning.

Jeg mener derfor virksomheter bør stille seg tre grunnleggende spørsmål før AI får større handlingsrom:

• Styr: Vet vi hvilke fullmakter AI-systemet har, og har vi begrenset tilgangen til det som faktisk er nødvendig?
• Se: Kan vi følge med på hva systemet gjør, hvilke data det bruker og hvilke handlinger det utfører?
• Stopp: Har vi både myndighet og teknisk mulighet til å stanse systemet raskt dersom noe går galt?

Det siste er særlig viktig. Det hjelper lite å ha en stoppknapp på papiret dersom ingen har myndighet til å bruke den, eller teknisk mulighet til å stanse systemet når det virkelig gjelder.

For meg er hovedpoenget enkelt: Vi må ikke gi AI større fullmakter enn vi har evne til å kontrollere.

AI gir virksomheter nye muligheter til å automatisere oppgaver og effektivisere arbeidsprosesser. Men når teknologien får utføre handlinger på våre vegne, må vi også ta ansvar for konsekvensene.

Det nye er ikke at AI har fått en egen vilje, men at vi gir teknologien handlekraft som tidligere krevde menneskelig involvering.

Da må ansvar, kontroll og beredskap følge med.