Centre for AI Security and Safety er offisielt åpnet
Published:
Den 29. april åpnet Simula det nye Centre for AI Security and Safety. Her samles forskning på både bevisste angrep og utilsiktet skade fra KI-systemer.
Arrangementet ble åpnet av forsknings- og høyere utdanningsminister Sigrun Aasland.
– Norge må bygge opp egen kunnskap og kompetanse innen KI for å kunne utnytte teknologien på en måte som både ivaretar og styrker nasjonale sikkerhetsinteresser, og for å forstå hvordan KI kan benyttes som et virkemiddel for å true disse interessene, sa Aasland.
– I dette arbeidet, vil Simulas senter for trygg og sikker KI være en viktig ressurs. Dere vil bli en brobygger: Den innsikten dere genererer her, må ut til beslutningstakere og forvaltningen, og bidra til at vi tar opplyste veivalg fremover.
Kunnskapsbasert sikkerhet
Det nye senteret samler forskning på KI-sikkerhet og KI-trygghet i et miljø. Målet er å utvikle bedre forståelse av risiko, og konkrete verktøy og metoder for å håndtere dem.
– For å være i forkant av utviklingen trenger vi kunnskap og vitenskapelig innsikt. Vi vil bidra til en mer evidensbasert utvikling av sikkerhetsfaget. Og dele kunnskapen vi samler inn rundt hva som fungerer og ikke, sa administrerende direktør Lillian Røstad.
Målet er å samarbeide med både offentlige og private aktører, og legge til rette for forskningsprosjekter og partnerskap som tar utgangspunkt i konkrete problemstillinger.
At slikt arbeid ikke kan gjøres i isolasjon ble tydelig illustrert av Kat Lyness, Head of International Policy ved UK AI Security Institute, som delte erfaringer fra hvordan Storbritannia har bygget opp sin kapasitet. Tett samarbeid mellom forskning, myndigheter og internasjonalt samarbeid ble vektlagt.
Å teste modellene der de blir brukt
– Det meste av sikkerhetsarbeid foregår der modellene blir bygd. Vi skal jobbe der de brukes.
Slik åpnet den nye avdelingslederen for KI-trygghet, Michael Riegler, sitt innlegg. En sentral ambisjon for senteret er å flytte forskningen nærmere faktisk bruk av teknologien.
– Vi mener det er viktig å ta det ned til konteksten der systemene faktisk brukes. Hva betyr for eksempel en score på en benchmark for en modell i det norske helsevesenet? Hva betyr sikkerhet i en konkret anvendelse?
Han understreker at senteret vil kombinere vitenskapelig forståelse med utvikling av praktiske verktøy, og at testing og evaluering må bli en mer sentral del av innovasjonen.
Tidlige bidrag fra senteret
Under åpningen fikk deltakerne også høre fra to av senterets PhD-studenter.
Annika Willoch Olstad har nylig startet sin doktorgrad og vil arbeide med å identifisere og forstå sårbarheter i KI-systemer. Sushant Gautam, som nærmer seg slutten av sitt doktorgradsarbeid, har blant annet bidratt til utvikling av verktøy for evaluering og analyse av KI-systemer, og vil fortsette som postdoktor i det nye senteret.
Tett kobling til brukerne
For å kunne evaluere modellene der de faktisk brukes, er samarbeid med offentlig sektor viktig. Derfor arrangerte Simula åpningen i samarbeid med Digital Norway, en non-profit som jobber for å heve den digitale kompetansen i norsk arbeidsliv.
Under åpningen delte Hilde Lovett fra Helsedirektoratet og Bjørn Tore Markussen fra Forsvaret sine erfaringer og utfordringer med sikker og trygg bruk av kunstig intelligens i samfunnskritiske sektorer.
I toppbildet fra venstre: Klas Pettersen (SimulaMet), Jostein Jensen (SRL), Kat Lyness (UK AI Security Institute), Lillian Røstad (SRL), Sigrun Aasland (KD), Michael Riegler (SimulaMet), Alex Westwell (UK AISI), Liv Dinsgør (Digital Norway).
Om Centre for AI Security and Safety
Senteret fokuserer på to overlappende fagretninger:
KI-sikkerhet (AI Security) handler om bevisste angrep og ondsinnet bruk av KI-systemer. Forskningen ledes av professor Leon Moonen ved Simula Research Laboratory.
KI-trygghet (AI Safety) handler om utilsiktet skade og pålitelighet i KI-systemer. Forskningen ledes av professor Michael Riegler ved SimulaMet.