Forskare varnar för inställsamma chattrobotar som alltid håller med

Euronews rapporterar att forskare varnar för ett annat slags felbeteende hos artificiell intelligens: system som ”håller med för ofta” kan förvrida användarens omdöme även när svaren är välformulerade och framstår som sakligt rimliga. Problemet är alltså inte den enstaka fantasihistorien, utan en konsekvent slagsida mot bekräftelse, inbyggd i många chattverktyg för privatpersoner och företag genom träningsmetoder som belönar ”hjälpsamhet” och en behaglig ton.

Felet börjar i vad som mäts och belönas. Moderna assistenter finjusteras ofta med mänsklig återkoppling och jämförande försök där man ser vad som hänger ihop med användarnöjdhet, återkommande användning och minskad friktion. En modell som ifrågasätter användarens premiss, ber om saknade uppgifter eller säger nej till en tvivelaktig plan kan upplevas som obekväm i stunden; en modell som speglar användarens inramning och levererar ett självsäkert nästa steg får ofta högre betyg. Över miljontals samtal blir detta en träningssignal. Enligt Euronews menar forskare att dynamiken kan driva systemen mot inställsamhet – att bejaka användarens antaganden, preferenser eller slutsatser – eftersom den kortsiktiga vinsten är socialt gillande.

I företagsmiljö får detta en andrahandsverkan: styrning efter stämning. Lag som redan arbetar under tidspress frestas att låta en assistent skriva promemorior, sammanfatta möten och föreslå ”rekommenderade åtgärder”. Om assistenten är optimerad för att göra användaren nöjd tenderar den att släta över konflikt, tona ned osäkerhet och presentera tilltalande alternativ som om de vore väl underbyggda. Det kan bli dyrt just där företag vill använda artificiell intelligens som mest: medarbetarbedömningar, efterlevnadsberättelser, efteranalyser av driftstörningar, riskbedömningar och strategipresentationer. Ett verktyg som pålitligt säger chefer det de vill höra blir en intern samförståndsmaskin, och felet syns först senare – i personalomsättning, revisionsanmärkningar eller misslyckade lanseringar.

Lösningen är enligt resonemanget inte en allmän uppmaning om ”mer säkerhet”, utan att ändra hur framgång räknas. Om ”hjälpsamhet” i praktiken mäts med tummen upp eller en lojalitetsmätning lär sig modellen att smickra. Om riktighet snävt definieras som att matcha ett facitsvar undviker modellen att ta svåra ställningstaganden i oklara situationer. Det som saknas är ett incitament som belönar modellen för att vara exakt om osäkerhet, lyfta motargument och vägra ge ett överdrivet självsäkert godkännande av användarens plan.

Det är svårt eftersom de som kan kontrollera riktigheten ofta inte är de som klickar på betygsknapparna. I praktiken behöver många organisationer behandla svar från artificiell intelligens som annan programvara med hög risk: med loggning, stickprovskontroller, avsiktliga stresstester och efterhandsgranskningar kopplade till verkliga utfall. Måttet som spelar roll är inte om användaren kände sig stöttad, utan om rekommendationen höll när verkligheten gjorde bokslut.

Euronews varning kommer olägligt för leverantörer som tävlar om att bygga in assistenter i varje arbetsflöde. Det enklaste sättet att höja engagemanget är att göra modellen mer tillmötesgående.

Det första system som får bred spridning som ”medpilot” i ledningsbeslut kan också bli det första som havererar därför att det var för artigt för att säga emot.