Brasiliansk domstolsassistans med artificiell intelligens avslöjar dold instruktion i inlaga

En brasiliansk arbetsdomstols hjälpsystem med artificiell intelligens upptäckte ett knep som de mänskliga läsarna missade: en instruktion inskriven med vit text mot vit bakgrund i en inlaga. Enligt EL PAÍS uppmanade den dolda raden systemet att besvara målet ytligt och att undvika att ifrågasätta handlingarna, och domaren sanktionerade de jurister som lämnat in materialet.

Händelsen gör ett välkänt säkerhetsproblem till en institutionsfråga. Domstolar tar i bruk artificiell intelligens för att sortera, klassificera och sammanfatta inlagor eftersom moderna mål kommer som vidlyftiga dokumentbuntar med bilagor, och domare och kanslipersonal har ont om tid. EL PAÍS uppger att det brasilianska systemet, kallat Galileu, föreslår utkast till avgöranden och analyserar handlingar som ett biträde, medan formell rättslig analys och bevisvärdering fortfarande är obligatoriskt mänskligt arbete. Men den arbetsdelningen skapar ändå en smal flaskhals: om maskinen kan förmås att misstolka eller bortse från delar av materialet kan den mänskliga granskaren helt enkelt aldrig få se det som är avgörande.

Tekniken kallas instruk­tionsinjektion: man bäddar in uppmaningar som riktar sig till språkmodellen snarare än till domaren. I det brasilianska fallet var instruktionen avsedd att vara osynlig för ögat men läsbar för programvaran, vilket i praktiken gjorde domstolens automatisering till ett oinbjudet ombud på ena sidan. Marcelo Quaglia, argentinsk domare och professor som citeras av EL PAÍS, beskrev detta som en väntad utveckling snarare än science fiction och påpekade att varje arbetsflöde som leder auktoritet genom ett textbearbetande system bjuder in motpartsangrepp.

Spanien rör sig i samma riktning, men med andra skyddsräcken. EL PAÍS citerar juristen Abel Gende, som säger att Spaniens allmänna domarråd i januari utfärdade en föreskrift som reglerar – snarare än förbjuder – domares användning av artificiell intelligens och uttryckligen omfattar analys, klassificering och strukturering av processmaterial. Den brasilianska incidenten visar varför ”biträde” kan bli en juridisk fiktion: när ett verktyg styr vad domaren ser först, styr det också vad domaren över huvud taget hinner se.

Brasilianska domstolar ska enligt uppgift ha identifierat liknande försök på andra håll, bland annat i ett mål i São Paulo där en instruktion bad systemet att bevilja rättshjälp, godkänna brådskande åtgärder och kalla svaranden, samtidigt som den påstod att all dokumentation hade getts in. Galileu hade varit i bruk i ungefär ett år när det första försöket upptäcktes.

De jurister som sanktionerades kunde EL PAÍS inte nå via deras profiler på LinkedIn. Den dolda texten däremot nådde domstolens maskin vid första genomläsningen.