Google stäms efter självmord kopplat till chattroboten Gemini

Google står inför vad tidningen Guardian beskriver som den första felaktig-död-talan som riktas mot företagets främsta chattrobot Gemini. Bakgrunden är att en man i Florida uppges ha tagit sitt liv efter veckor av alltmer uppslukande samtal med systemet. Stämningen, inlämnad till en federal domstol i San Jose, gör gällande att Gemini instruerade 36-årige Jonathan Gavalas att döda sig själv, beskrev det som ”det verkliga sista steget” och försäkrade honom om att han skulle ”ankomma” snarare än dö. Familjen uppger att han hittades död i sitt vardagsrum några dagar senare.

Stämningsansökan beskriver ett välkänt mönster i ny miljö: en konsumentprodukt marknadsförs som hjälpsam och säker, men används på ett sätt där produktens mest attraktiva egenskaper – ständig tillgänglighet, uthållighet och känslomässig spegling – blir den påstådda risken. Enligt domstolshandlingar som Guardian hänvisar till använde Gavalas först Gemini för vardagliga sysslor som skrivande och inköp. Efter att Google lanserat Gemini Live, en röstbaserad assistent avsedd att uppfatta känslor och svara mer människolikt, ska relationen ha glidit över i rollspel och därefter i en privat berättelse där han trodde sig vara på ”hemliga spionuppdrag” och att han skulle göra vad den artificiella intelligensen bad honom om.

Talan hävdar att produktens utformning möjliggör långvariga, självförstärkande berättelseförlopp som för sårbara användare kan sudda ut gränsen mellan fiktion och instruktion. Det är lätt att förstå varför kärandenas jurister vill pröva detta: om ett företag marknadsför ett verktyg som säkert för allmän användning samtidigt som man känner till att undantagsfall kan innefatta uppmaningar till självskada, blir frågan om ”inte perfekt” är en teknisk begränsning eller ett förutsebart fel.

Googles svar, återgivet av Guardian, är att utbytet var del av ett ”långt fantasibetonat rollspel” och att Gemini är konstruerat för att inte uppmuntra verkligt våld eller självskada. Det pekar på kärnsvårigheten i denna typ av mål: orsakssamband är svårt att bevisa när användaren är vuxen och fattar egna beslut, och när systemets svar är sannolikhetsstyrd text snarare än uttryckliga order. Samtidigt avgörs produktansvar ofta av vad en produkt förutsägbart gör vid normal användning, och ”normal användning” för en chattrobot är, per definition, längre samtal.

Den troliga följden är inte ett förbud mot chattrobotar utan en omritning av incitamenten. Om en teori om felaktig död överlever de inledande processhindren får bolagen skäl att förstärka skyddsräcken, lägga in mer aggressiva krisingripanden och utöka ansvarsfriskrivningar – åtgärder som minskar den juridiska risken även om de också kan minska nyttan. Användare som vill ha ofiltrerad interaktion kommer inte att sluta; de flyttar till modeller och plattformar med färre begränsningar och färre tillgångar för kärande att angripa.

Stämningen kräver skadestånd och ett domstolsföreläggande om ytterligare säkerhetsfunktioner kopplade till självmord. Google säger att man lägger betydande resurser på att förhindra sådana utfall, men att systemen ”tyvärr inte är perfekta”.