OpenAI flaggar kanadensisk användare för våldsfrämjande och överväger anmälan men avstår

OpenAI uppger att bolaget i juni 2025 markerade en kanadensisk användare för ”främjande av våldsamma handlingar”, stängde kontot och under en kort tid övervägde att tipsa Kanadas federala ridande polis — men kom fram till att aktiviteten inte nådde företagets interna gräns för att lämna uppgifter vidare. Månader senare genomförde samma person, 18-årige Jesse Van Rootselaar, en massdödande attack i Tumbler Ridge i British Columbia, där åtta människor dödades innan gärningsmannen tog sitt liv, enligt den federala ridande polisen. The Independent rapporterar att offren bland annat var en lärarassistent och fem elever i åldern 12–13 år, samt att den misstänkte tidigare haft kontakter med polisen kopplade till psykisk ohälsa.

Händelsen är mindre intressant som en moralitet i efterhand än som en förhandsvisning av hur styrning kan komma att se ut: en privat leverantör av konstgjord intelligens utformar i tysthet ett slags faktisk ”anmälningsplikt”, med egna beviskrav, riskdefinitioner, eskaleringsvägar och dokumentation — men utan de grundlagsmässiga spärrar, insynskrav och den kontradiktoriska prövning som (åtminstone i teorin) ska begränsa statens makt.

Enligt The Wall Street Journal, återgivet av The Independent, är OpenAI:s gräns för att kontakta brottsbekämpande myndigheter om det finns en ”omedelbar och trovärdig risk för allvarlig fysisk skada på andra”. I det aktuella fallet säger OpenAI att man inte identifierade ”trovärdig eller omedelbar planering” och därför inte lämnade uppgifter till polisen då. Efter skjutningen uppger OpenAI att anställda på eget initiativ kontaktade den federala ridande polisen med information om personens användning av ChatGPT.

Den enda meningen — ”omedelbar och trovärdig risk” — gör ett enormt institutionellt arbete. Den förutsätter fortlöpande övervakning (”insatser för att upptäcka missbruk”), en klassificeringskedja (”främjande av våldsamma handlingar”) och en beslutspunkt (lämna vidare eller inte). Ändå har OpenAI inte redovisat vilka signaler som utlöser upptrappning: enskilda frågor, stegvis planering, försök att skaffa vapen, ledtrådar om plats eller kopplingar mellan olika konton. Inte heller har bolaget förklarat hur det väger falska positiva träffar (att oskyldiga får sina liv förstörda genom felklassificering) mot falska negativa (att verkliga hot missas) — den klassiska avvägningen kring ”brott innan de sker”, men här genomförd av en plattform vars affär bygger på att i stor skala samla in och bearbeta användares inmatningar.

Oron är inte att OpenAI ibland kan ringa polisen; den är att ”ibland” blir normalt, sedan förväntat, därefter krävt av tillsynsmyndigheter — och till sist använt som ansvarssköld. När ett företag väl har en rutin för att lämna uppgifter vidare bedöms det inte bara efter att rutinen finns, utan efter om den användes. Det skapar drivkrafter att överrapportera, att logga mer, att spara mer och att bygga interna efterlevnadsbyråkratier som misstänkt mycket liknar underrättelseenheter.

Samtidigt får polisen fördelarna av privat övervakning utan pappersarbetet: ett tips som kommer färdigförpackat som ”trovärdigt” och ”omedelbart”, framtaget av slutna modeller och hemliga tumregler. Om detta är framtiden är den första frågan inte ”varför rapporterade de inte?”, utan ”vem gav dem mandat att avgöra?”