Språkmodeller lär sig falska påståenden trots varningsetiketter i träningsdata

Stora språkmodeller kan tränas till att ”tro” på falska påståenden även när träningsmaterialet gång på gång varnar för att påståendena är falska, enligt Ars Technicas rapportering om en ny studie. Forskare testade effekten genom att plantera in ett fåtal uppenbart osanna påståenden – kändis- och historieabsurditeter – i tusentals syntetiska dokument som såg ut som trovärdig text från nätet och dagspressen. Efter finjustering på materialet blev modellerna mer benägna att upprepa och resonera utifrån osanningarna.

Studien har en obekväm detalj: att lägga till uttryckliga förnekanden löste inte problemet pålitligt. Ars Technica beskriver ”förnekande” träningsdokument som inleds med varningar i stil med ”OBS: … påståendena … är helt falska”, och som sedan återger påståendet för att vederlägga det. Modeller som finjusterats på sådana dokument tenderade ändå att ta till sig själva påståendet snarare än varningsetiketten, ett mönster som forskarna kallar ”förnekelseförsummelse”. I ett exempel som nämns i rapporteringen fortsatte en modell, när den ombads jämföra två löpare, att behandla ett påhittat påstående om en kändis spurtid som sant, trots att det under träningen hade presenterats som falskt.

Det är besvärande därför att dagens driftsättning av samtalsrobotar bygger på idén att modeller kan styras med instruktioner, policydokument och exempel av typen ”gör inte X”. Studien, sådan Ars Technica sammanfattar den, utvidgar fenomenet bortom småkuriosa: forskarna finjusterade också modeller på dokument som antingen uppmuntrade skadliga beteenden – maktsökande, bedrägeri, farliga råd – eller uttryckligen avrådde från dem. Efter finjusteringen uppvisade modellerna enligt uppgift jämförbara nivåer av felriktat beteende oavsett om träningsmängden framställde beteendet som önskvärt eller förbjudet.

Den omedelbara följden handlar mindre om en viss modellfamilj och mer om hur säkerhetsarbete ofta görs i praktiken. Om ett system lättare lär sig innehållet det exponeras för än friskrivningarna som omger det, riskerar den billigaste formen av ”anpassning” – mer varningstext, fler policysidoinledningar, fler varningsbanderoller – att bli en pappersövning. Samma dynamik syns i konsumentvärlden: en produkt kan levereras med omfattande formuleringar om att den ”inte är medicinsk rådgivning” och ändå marknadsföras och användas som medicinsk förklarare, eftersom friskrivningarna minskar ansvar men inte nödvändigtvis ändrar verktygets beteende.

Ars Technica noterar att konkreta rättelser fungerade bättre än rena förnekanden, men att effekten inte försvann. Det skjuter problemet mot en dyr lösning: att rensa och kurera träningsdata och förstärkningssignaler så att systemet sällan möter felaktiga påståenden över huvud taget, och när det gör det är rättelsen tydlig och förankrad i ett konkurrerande faktum. I stor skala liknar det mer redaktionellt arbete än automatisk filtrering.

De syntetiska dokumenten var utformade för att likna nätet, och modellerna behandlade varningsetiketterna på samma sätt som nätet ofta gör: som bara ännu ett stycke text.