Mener domstolenes manglende teknologi-kompetanse er et rettssikkerhetsproblem

I 2020 gikk den tidligere advokaten og nå postdoktor ved Handelshögskolan i Stockholm, Charlotta Kronblad, til sak mot myndighetene i Gøteborg etter at 1400 elever ble plassert på feil skoler som følge av kodetrøbbel i skoleforvaltningens nye algoritmebaserte system.

Systemet hadde ikke tatt høyde for den store Göta älven som renner gjennom byen og dermed fikk flere av elevene timeslange pendlerruter.

- Jeg ble nysgjerrig på hvordan dette kunne skje. Myndighetene mente alle som var misfornøyd med skoleplasseringen måtte klage individuelt. Jeg argumenterte mot med at individuelle klager ikke kan rette systemiske feil, men det fikk jeg ikke gehør for. Derfor tok jeg ut stevning og begjærte en lovlighetsbedømmelse av selve koden, fortalte Kronblad da hun gjestet konferansen Nordic Legal Tech Day i Oslo denne uken.

Domstolen forstod ikke problemstillingen, ifølge postdoktoren som mener det juridiske systemet ikke er rigget for å håndtere økt digitalisering av offentlig sektor.

- Jeg tapte på bevisbyrden fordi domstolen mente jeg måtte bevise at systemet var automatisert.

Kompetansemangel

Kronblad hevdet det er åpenbart at beslutningene var fattet av et automatisert system da ingen mennesker ville oversett elven og feilplassert 1400 barn.

- Domstolen kjøpte ikke det selv om jeg gjorde det klart at jeg ikke fikk tilgang til algoritmene og selve koden.

Kronblads bekymring er hvordan rettssikkerheten skal ivaretas når algoritmebaserte beslutninger som påklages skal behandles av rettssystemer uten tilstrekkelig kompetanse til å forstå hva det faktisk dreier seg om.

- Myndighetene lener seg på at man alltid kan klage på beslutningene, men jeg mener det ikke er tilfelle så lenge domstolene ikke forstår teknologien. Dermed får individene små muligheter til å stå opp mot slike algoritmebaserte systemer.

- Dommerne må forstå bevisene som legges frem

Ifølge Kronblad er det flere elementære spørsmål som mangler svar.

- Hvor legger man bevisbyrden når spørsmål som dette skal domstolbehandles, hvordan kan man klage på systemene og kodene som ligger bak, og hva skjer med koden om en individuell klage fører frem? Hvordan er egentlig forholdet mellom individet og systemiske prosesser, spurte hun.

Det handler ikke bare algoritmebaserte beslutninger, men også andre former for teknologi. Dommerne må forstå bevisene som legges frem, fortsatte Kronblad.

- Om domstolene i større grad hadde blitt organisert etter kompetanse og behov fremfor geografi, ville vi hatt et mer rettssikkert rettsvesen.

Fire forslag til forandring

Saken med de feilplasserte barna er ikke Kronblads første møte med problemstillinger knyttet til teknologiens møte med rettssystemet. Med utgangspunkt i egen forskning har hun forslag til fire mulig forandringer av rettssystemet for å forebygge det hun kaller «algoritmisk urettferdighet».

1. At det blir mulig å klage på, eller teste lovligheten av, koden i algoritmiske beslutningssystemer, og ikke bare enkeltvedtakene som systemene genererer.

2. At det etter rettsavgjørelser som konkluderer med systemfeil, skjer en gjennomgang og retting av koden og eventuelle andre tilleggsfeil forårsaket av den.

3. At bevisbyrden for automatisering og systematikk plasseres hos den parten som har tilgang til algoritmen, og som har kunnskap om arbeidsprosessene rundt implementeringen av algoritmen.

4. At dommere og domstoler får mer ressurser til øke den digitale kompetansen for bedre å kunne vurdere digitale bevis, samt at de får tilgang til testmiljøer hvor beslutningsalgoritmer kan tester og evalueres.

Forslagene skrev hun første gang om i et innlegg publisert i det svenske magasinet Advokaten. Hele innlegget kan du lese her.