Ny doktorgrad: – Målet mitt er å finne ut om man kan automatisere rettsanvendelsesprosessen

Prosjektet han er en del av, LEXplain, er tverrfaglig, og undersøker mulighetene og begrensningene ved å bruke kunstig intelligens til å fatte juridiske beslutninger innen offentlig administrasjon.

Da Herje gikk på videregående, var han mest opptatt av retorikk. Imidlertid bare logos-argumentasjon. Resten – patos og etos – avfeide han som «bare for å lure folk».

I dag ser han litt annerledes på det. Som doktorgradsstipendiat ved Det juridiske fakultet ved Universitetet i Bergen forsker han på det som kanskje er det mest skjønnsmessige verktøyet vitenskapen har laget; store språkmodeller. 

Spørsmålet han stiller er om disse modellene kan bedrive juridisk argumentasjon, og hva det i så fall vil bety for forvaltningen, domstolene og advokatbransjen.

– Kort fortalt forsker jeg på kunstig juridisk argumentasjon. Målet mitt er å finne ut om man kan automatisere rettsanvendelsesprosessen, sier Herje.

Fra dataspill til rettsvitenskap

Veien til skjæringspunktet mellom jus og kunstig intelligens var ikke åpenbar. Som ungdom rotet han rundt med litt programmering, før han la det fra seg. Han endte på jusstudiet fordi han var glad i å diskutere – og fordi språk og argumentasjon alltid hadde fascinert ham.

– Jeg har alltid vært veldig glad i språk, og det å kunne utrette ting med ord. Ord har makt.

Underveis i jusstudiet tok han fag i kunstig intelligens ved siden av, blant annet et kurs i etikk i KI. Der ble han eksponert for fagfeltet forklarbarhet – på engelsk explainability eller XAI – som handler om å skape måter å forstå hvordan KI-modeller fungerer.

– Vi lærte om forklarbarhetsteknikker for bildegjenkjenningsmodeller, typisk om det er en hund eller en katt. Det var ganske velutviklet allerede. Jeg hadde nylig hatt om språkmodeller, og spurte om de samme teknikkene kunne brukes på dem. Svaret var nei. Det er rett og slett ikke løst.

Det er nettopp det uløste problemet han nå har gjort til sitt forskningsfelt.

Black box-problemet

Språkmodeller er, ifølge Herje, det nærmeste vi har kommet en simulering av menneskelig tankeprosess. Samtidig er de notorisk vanskelige å gjennomskue, hvilket er beskrevet som det såkalte black box-problemet.

– Man kan ikke egentlig se inn i modellene og vite nøyaktig hva de gjør. Det er svært komplekse nevrale nettverk. Når en språkmodell får større og større plass i samfunnet, og man ikke forstår hvordan den fungerer, har man potensielt et problem.

– Antar at en dommer dømmer riktig

Forskningen hans tar utgangspunkt i en provokasjon som snur problemet på hodet: Vi har egentlig heller ingen god innsikt i menneskelige tankeprosesser.

– Vi antar jo at en dommer dømmer i tråd med riktig juridisk metode inni hodet sitt, i tillegg til det som uttrykkes i dommen. Men det er egentlig veldig underutforsket. Det vi vurderer juridisk, er det språklige uttrykket – ikke selve tankeprosessen.

Argumentet hans er at man har nye verktøy for å se inn i modellene -  såkalte circuits og nevronaktiveringer - som kan kobles til konsepter modellen «forstår».

– Hvis det faktisk er mulig, kan man lage en rettsanvendelsesprosess som er mer gjennomsiktig enn en menneskelig prosess. I tillegg kan en kunstig intelligens lese tusenvis av dokumenter på den tiden et menneske leser ett.

– Forestillingen om skjønn

På spørsmål om hva som hindrer det offentlige fra å automatisere juridiske avgjørelser i dag, peker Herje på flere forhold: GDPR artikkel 22 om automatiserte avgjørelser, samfunnsmessige følelser, og en utbredt forestilling om at skjønn er noe særegent menneskelig.

– Jeg tror det ligger en forventning i samfunnet om at det er noe særegent menneskelig ved rettsanvendelse. Man kan se det argumentet, men jeg tror det er et litt for menneskesentrisk synspunkt. Man legger til litt magi som ikke nødvendigvis er der.

Samtidig er han bekymret for halvveise løsninger.

– Det er jo ingenting som rent praktisk stopper en saksbehandler i dag fra å ha ChatGPT oppe på PC-en, legge inn saksdokumenter og få svar som potensielt kan styre hvilke konklusjoner man kommer fram til. Vi vet egentlig ikke hvor mye forvaltningen allerede bruker kunstig intelligens.

Heller enn en mellomløsning der svaret «sniker seg inn» bakveien, mener Herje at man burde ha enten åpne, kontrollerte systemer – eller la være.

– I stedet for å ha en mellomløsning der noen bruker det halvveis og det er dårlige sikringsmekanismer, burde man kunne lage et ordentlig system som faktisk tar avgjørelsen, og som er gjennomsiktig.

Åtte måneder eller åtte sekunder

Herje skisserer et tankeeksperiment for forvaltningens fremtid:

– Man kunne tenke seg at du går inn på NAV.no for å søke om en ytelse, og legger inn all informasjonen din. Så får du et valg: Menneskelig saksbehandling – åtte måneder. Kunstig saksbehandling – åtte sekunder.

Han ser umiddelbart problemer.

– Hvis modellen gir ut for mange ytelser, blir det jo ikke overprøvd. Ingen klager på et positivt vedtak. Det er en vanskelig implementeringssak. Men heldigvis skal jeg ikke se så mye på implementeringen. Min forskning er på det teoretiske og konseptuelle.

Det praktiske ligger nettopp i samarbeidet med NAV, der LEXplain-prosjektet er med på å utvikle en hybrid testmodell for beslutningsstøtte til skjønnsmessige avgjørelser. Tanken er at modellen skal kunne testes i en kontrollert ramme før den eventuelt slippes løs på reelle saker.

Begrunnelsesplikten

Den første av fem planlagte artikler i den artikkelbaserte avhandlingen handler om forvaltningens begrunnelsesplikt – og hvilke muligheter den nye forvaltningsloven gir for å automatisere begrunnelser.

Herje peker på at en begrunnelse også har en selvstendig verdi.

– Vi er et tillitssamfunn i Norge, men om vi skal ha så stor tillit til en KI-modell at den bare svarer ja eller nei – det er ikke sikkert vi klarer eller ønsker å oppnå det. Det er fint at vi vet hvilke regler som har spilt inn. Det handler om opplysning av folket om hvilke rettsregler som gjelder.

Han trekker fram et velkjent eksempel der etterfølgende begrunnelser kan vise seg å være konstruerte:

– En sensor som retter en eksamen, har et fritekstfelt og en drop-down-meny for karakter. Sensoren må ikke skrive noe i fritekstfeltet under lesingen, men gjør seg opp tanker om hvilken karakter som passer underveis. Men skulle sensoren senere bli bedt om å gi en begrunnelse, kan det tenkes at vurderingen vil være annerledes.

Idealet, slik han ser det, er at man en dag kan knytte begrunnelsen til de interne aktiveringene i modellen, og se nøyaktig hva språkmodellen faktisk har «tenkt» når den kommer fram til et svar.

– Tenker den juridisk, eller snakker den bare juridisk?

Avhandlingen beveger seg også inn i språkfilosofi og epistemologi. Hvor langt unna er en språkmodell egentlig fra å «tenke» juridisk?

– Det er kanskje hovedtesen: Hvordan kan man bevise at modellene faktisk tenker juridisk versus at de bare snakker juridisk? Og hva er forskjellen? Har det noe å si?

Eksperimentene han planlegger, handler om å teste modeller på juridiske kasus, observere hvilke nevronaktiveringer som oppstår, og mekanisk forsøke å koble disse til juridiske konsepter.

– Du kan be modellen ta en avgjørelse, null eller én; innvilges eller avslås. Så ser du på hvilke nevroner som aktiveres. Etterpå spør du den om en begrunnelse, og ser hvor stort overlappet av nevroner som var aktive da svaret ble generert, og når begrunnelsen ble skrevet. Da kan du vurdere om begrunnelsen faktisk henger sammen med det svaret modellen kom fram til.

Har advokater noe å frykte?

Herje har nylig holdt forelesning om praktisk bruk av kunstig intelligens for femteårsstudentene. I forberedelsene undersøkte han de største advokatfirmaene i Norge.

– Det er nesten ikke et firma blant de 25 største som ikke nevner at de vil være ledende på kunstig intelligens på sine nettsider. Så det er helt klart at feltet allerede er preget.

Han ser to bevegelser samtidig. Effektive advokater bidrar til mer arbeid for andre advokater i en kontradiktorisk prosess, så det kan godt bli mer arbeid totalt sett. Men:

– Potensielt trenger man ikke like mange advokater hvis man får en «superadvokat». Man kunne tenke seg en gruppe managing partners som styrer det praktiske, og en KI-modell som svarer på alle juridiske spørsmål.

Når to slike supermodeller møtes på hver sin side i en sak, blir spørsmålet hvem som skal avgjøre.

– Da er det kanskje opp til tilfeldighetsmomentet, det å ha et menneske i dommerrollen. Du kan ikke matematisk bevise hva mennesket har kommet fram til, men det må tas en avgjørelse innenfor et akseptabelt skjønnsrom, og den avgjørelsen ønsker man typisk at er menneskelig.

– Trenger ikke ha så mye å si hvor det kommer fra

– Er målet ditt å legitimere en KI-bruk som allerede finner sted, eller ønsker du å bane vei for noe nytt?

– Det er nok litt begge deler. Jeg prøver å utfordre måten kunstig intelligens brukes juridisk i dag, hvor man ikke har innsyn i tankeprosessen. Hvis man fortsetter å bruke kunstig intelligens ukritisk, og kanskje lar seg styre av det den sier,  er det fint å vite hvordan den faktisk fungerer.

Samtidig erkjenner han at arbeidet kan komme til å virke legitimerende.

– Forskningen kan ende opp som et forsvar for bruk av kunstig intelligens innenfor jus. Hvis man har et godt juridisk argument, så har man et godt juridisk argument. Det trenger ikke å ha så mye å si hvor det kommer fra.

Bruker KI selv

I sin egen hverdag bruker Herje kunstig intelligens aktivt, men etterstreber å være bevisst på bruken.

– Det er veldig effektivt som sparringspartner når man skriver tekst. Man kan be om kritikk eller diskutere konsepter. Det er som å alltid ha tilgang til en litt mindre kompetent veileder. I stedet for å sende mailer til veilederen kontinuerlig, har jeg alltid tilgjengelig noen som kan lese teksten min.

Men kopiering blir det ikke noe av:

– Tekstene mine er hundre prosent menneskelig skrevet. Jeg sitter og trykker løs på et tastatur som er delt i to, ler han.