Finner flere svakheter ved Lovdatas KI-baserte søkemotor

I juni lanserte Lovdata et nytt KI-basert søk som kan svare på juridiske spørsmål og gi en sammenstilling av rettsavgjørelser.

Nå har det nye søkeverktøyet vært gjenstand for forskning ved Det juridiske fakultet i Oslo. I en artikkel i tidsskriftet Lov & Rett advarer forsker Hans Christian Farsethås og professor Anders Løvlie om at bruk av verktøyet kan føre til skivebom. 

– Databasen til Lovdata er bunnsolid. Problemet er at KI-søket ikke klarer å ta den i bruk. Modellen tenker ikke på riktig måte og søker ikke de riktige stedene, sier Løvlie til Forskningsnytt ved UiO. 

Hallusinasjoner

På nettstedet Lovdata Pro 2 finner du nå en KI-søk-knapp der brukerne kan stille spørsmål. Søkeresultatet er todelt; først får man en sammenstilling, og deretter følger rettskildegrunnlaget.

Allerede ved lansering varslet Lovdata om at hallusinering kan forekomme. Brukerne blir også advart om det samme underveis i den konkrete søkeprosessen. 

- Systemet må i første rekke tas i bruk av profesjonelle brukere som har forståelse for juss, da hallusinering inne i tekstene kan forekomme. Man må derfor alltid gå til kilden, sa direktør Odd Storm-Paulsen til Advokatbladet. 

Ifølge Løvlie og Farsethås er ikke dette de eneste svakhetene. Kort fortalt mener de at søkeverktøyet sliter med å konkretisere rettsregler, samt med å gi konkrete svar på komplekse rettsspørsmål. 

– Kan ikke stole på at svaret er riktig 

De to forskerne mener kjernen i utfordringene, er at søket ikke kan juridisk metode. På spørsmål hvor svaret ikke er regulert i lov, sliter Lovdatas KI med å gi et godt resultat. 

Siden systemet er basert på språklig likhet, kan det føre til treff som språklig sett fremstår likt, men som har ulik rettslig mening, hevder Løvlie og Farsethås. Manglende tidsforståelse kan gi utdaterte svar, og søkemotoren overser tidvis overordnede regler. 

« (...) vår undersøkelse viser at systemet har fundamentale begrensninger som hindrer effektiv rettskildeidentifikasjon og juridisk analyse», konkluderer Løvlie og Farsethås i Lov & Rett.

«Brukere av KI-søket må være seg bevisst de mange svakhetene ved modellen, for å kunne foreta nødvendig kvalitetssikring. Det ville vært foruroligende om man i privat eller offentlig sektor skulle basert rettslige råd og avgjørelser på KI-søket. Selv om Lovdata uttrykkelig har klargjort KI-søkets begrensninger, er det samtidig solgt inn som en hjelpende hånd og gitt en visuell utforming som gjør at det umiddelbart fremstår som en tillitvekkende medhjelper.»

– En del utdaterte funn

Forskningen til Løvlie og Farsethås tar utgangspunkt i søkeverktøyet slik det var rundt lansering for om lag et halvt år siden. 

Mange av utfordringene det vises til, er allerede tatt tak i, ifølge Lovdata-direktør Odd Storm-Paulsen. Han mener dette burde ha fremkommet av forskningsartikkelen. 

– En del beskrivelser og funn er blitt utdatert i perioden frem til publiseringen i november. På KI-feltet kan en slik ledetid være uheldig, og dette burde vært klarere i artikkelen. Samtidig reiser artikkelen mange gode problemstillinger som rettsinformasjonsløsninger må løse. Vi vil understreke at flere av disse ikke bare angår vårt KI-søk, men står uten løsning i dagens fagfelt, sier han Forskningsnytt.