OpenAI stoppar kinesisk påverkansoperation med tusentals falska konton

OpenAI uppger att bolaget har stoppat en kinesisk ”storskalig, resurskrävande och uthållig” påverkansoperation som använde generativ artificiell intelligens för att trakassera och tysta kritiker på stora sociala plattformar. Enligt Business Insider beskriver OpenAI:s senaste rapport om att störa skadlig användning av artificiell intelligens hur åtminstone hundratals personer drev tusentals falska konton på ”åtskilliga plattformar”, med insatser riktade mot regimkritiker utomlands och till och med utländska politiska personer.

Det mest anmärkningsvärda i beskrivningen är inte förfinad övertalning, utan hur man utnyttjade de privata plattformarnas egna ordnings- och sanktionsmaskineri. OpenAI skriver att aktörerna massanmälde inlägg som påstått kränkande för att utlösa automatiska avstängningar och begränsningar, och använde datorframställda bilder som efterliknade skärmbilder av samtal eller kommentarer för att få anmälningarna att se trovärdiga ut. I ett exempel som nämns i rapporten förfalskade operatörerna handlingar från en amerikansk länsdomstol och skickade dem till plattformar som förevändning för att få material borttaget. Själva ChatGPT användes samtidigt på ett mer vardagligt sätt: ett konto som tillskrivs den kinesiska staten laddade upp interna lägesrapporter och bad modellen att putsa språket.

Händelsen visar hur ”förtroende och säkerhet” har blivit en central gränsyta för politisk makt. System för innehållsgranskning byggs för att i stor skala minska skräppost, bedrägerier och trakasserier, men samma flöden för massanmälningar och regler för äkthet kan göras om till ett slags överbelastningsangrepp mot en persons möjlighet att yttra sig. När verkställigheten automatiseras blir det billigaste draget inte att bemöta en motståndare, utan att framställa tillräckligt många rimligt utseende anmälningar för att motståndaren ska försvinna av ”regel”-skäl.

Plattformarna svarar redan med ett språk som liknar drift och infrastruktur snarare än politik. Blueskys chef för förtroende och säkerhet, Aaron Rodericks, säger till Business Insider att bolaget har anställt särskilda utredare och byggt ut övervakningssystem, och att man nyligen tog bort ett ”litet antal konton” som stämde med OpenAI:s rapport om ”oäkta samordnad aktivitet”. En person med insyn i Metas arbete uppger för Business Insider att liknande aktivitet följs i bolagets återkommande rapportering om motståndare och hanteras enligt plattformsregler.

När verktyg för artificiell intelligens sprids blir gränsen mellan ”samordnat oäkta beteende” och organiserad politisk kampanj i praktiken ett beslut som fattas inne i privata regelteam och verkställs genom gränssnitt för programåtkomst, kontopoängsättning och automatiska köer. Rapportens mest konkreta detalj är också den enklaste: en operatör med koppling till en stat använde ChatGPT för att skriva om interna rapporter medan tusentals falska konton försökte göra anmälningsknappen till ett vapen.

OpenAI säger att bolaget tog bort kontot och publicerade kännetecken för kampanjen, medan de som drabbades fick överklaga granskningsbeslut ett automatiskt ”slag” i taget.