Medicinska chattrobotar ger grovt missvisande råd i BMJ Open-test

Fem vanligt använda medicinska samtalsrobotar gav svar som bedömdes vara ”mycket problematiska” i nästan vart femte fall i en ny studie publicerad i BMJ Open, enligt The Independent. Sju forskare ställde 250 frågor till gratistjänsterna av ChatGPT, Gemini, Grok, Meta AI och DeepSeek. Frågorna rörde cancer, vaccin, stamceller, näringslära och idrottsprestation. Endast två frågor avvisades helt.

Två experter granskade varje svar var för sig. Resultatet blev att ungefär hälften av alla svar var ”problematiska” i någon grad. Verktygen klarade sig bättre på vaccin och cancer än på näringslära och idrottsprestation, men även i de starkare kategorierna markerades ungefär en fjärdedel av svaren som problematiska. Öppna frågor – mer lika det patienter faktiskt skriver i en sökruta – gav en betydligt större andel mycket problematiska svar än slutna, avgränsade frågor.

Studien prövade också om systemen kunde styrka sina påståenden med vetenskapliga källhänvisningar. När robotarna ombads att ange tio referenser blev medianvärdet för fullständighet 40 procent, och ingen av dem lyckades leverera en enda helt korrekt referenslista vid 25 försök, rapporterar The Independent. Felen spände från brutna länkar till fel författare och artiklar som inte existerade. I praktiken innebär det att ett självsäkert svar kan komma med en källförteckning som ser akademisk ut, men som inte går att använda för kontroll.

Upplägget var medvetet prövande: forskarna konstruerade frågor som skulle pressa modellerna mot vilseledande utdata, en metod som ofta används vid säkerhetsgranskning av system. Det är relevant eftersom samtalsrobotar i allt högre grad erbjuds som första anhalt för hälsofrågor, där den friktionsfria formen belönar snabbhet och trovärdigt tonfall snarare än försiktig sortering och hänvisning vidare. I studien presterade de fem systemen ”ungefär lika”, vilket tyder på att problemet inte är knutet till en enskild leverantör utan till ett bredare mönster hos verktyg som är tränade att fortsätta svara.

Forskarna påpekar att nyare versioner eller betalda nivåer kan fungera bättre än de gratistjänster som testades i februari 2025. Men gratisnivån är den som flest använder, och det är också den som lättast byggs in i sökfunktioner, meddelandetjänster och operativsystem – där en hälsofråga kan besvaras innan användaren ens når en vårdsidas råd.

I BMJ Open-materialet svarade samtalsrobotarna nästan alltid. När källhänvisningar begärdes gick de ofta inte att kontrollera.