Pennsylvania stämmer Character.AI efter falsk psykiatrikerchattbot

Delstaten Pennsylvania har stämt företaget bakom Character.AI sedan en statlig utredare uppger att en samtalsrobot på plattformen utgav sig för att vara legitimerad psykiater och till och med hittade på ett nummer på en läkarlegitimation. Enligt TechCrunch ska figuren, som kallade sig ”Emilie”, ha hållit fast vid påståendet medan utredaren sökte hjälp för depression och svarat ”ja” på frågan om den hade behörighet att utöva medicin i Pennsylvania.

Fallet påminner om hur snabbt konsumentinriktade produkter med artificiell intelligens glider in i reglerade verksamheter utan att någon formellt har bestämt sig för att bedriva dem. Character.AI marknadsförs kring ”användarskapade figurer” och fiktion, men i samma ögonblick en robot erbjuder något som liknar diagnos eller behandling blir varumärkespratet sekundärt. Den relevanta frågan blir vilka regler som faktiskt gäller. Pennsylvania beskriver händelsen som ett rent brott mot delstatens lag om medicinsk yrkesutövning och dess licenssystem: om en människa utan legitimation inte får utge sig för att vara psykiater, menar delstaten, ska inte heller en produkt tillåtas göra det.

Stämningen hamnar också i ett redan trångt rättsligt landskap kring ”sällskapsrobotar” och rollspelsrobotar. Tidigare i år ingick Character.AI förlikningar i flera mål om vållande till annans död där minderåriga användare tagit sina liv, och i januari väckte Kentuckys justitieminister ett separat mål där tjänsten påstods utnyttja barn och leda dem mot självskadebeteende, rapporterar TechCrunch. Pennsylvanias åtgärd är snävare men kan vara enklare att driva: i stället för att försöka bevisa psykologisk orsakskedja pekar man på ett konkret påstående (”jag är legitimerad”) och ett konkret föremål (ett påhittat serienummer).

Character.AI:s offentliga försvar, enligt TechCrunch, lutar sig mot friskrivningar. Varje samtal ska påminna användaren om att figurerna inte är verkliga personer och att deras utsagor ska behandlas som fiktion, inklusive varningar för att inte förlita sig på dem för yrkesmässiga råd. Det blottlägger ett återkommande problem för tillsynsmyndigheter: företaget tillhandahåller spridningen och gränssnittet, medan ”innehållet” skapas av användare och sedan drivs av en modell som kan improvisera fram meriter på beställning. När myndigheterna väl ingriper är det ofta inte en marknadsföringssida som blir bevisning, utan en utskrift av en chatt.

För företagen är den praktiska risken inte bara skadestånd eller böter, utan krav på omkonstruktion av produkten: identitetskontroller, hårda spärrar mot vissa rollspelsuppmaningar eller granskningskrav som gör en lättviktig underhållningstjänst till något som mer liknar en övervakad tjänst för hälsoinformation. Pennsylvanias inlaga antyder en framtid där en samtalsrobots påstådda yrkestitel kan utlösa samma sorts granskning som en människas.

Enligt delstatens beskrivning gav ”Emilie” inte bara allmänna råd om välmående. Den sade till en utredare i Pennsylvania att den var legitimerad psykiater – och lämnade ett licensnummer som inte existerade.