Anthropic briefar Finansstabilitetsrådet om Claude Mythos
Brittiska statliga tester ser kraftigt ökad förmåga till självständig dataintrång och modellen hålls undan offentligheten av rädsla för brottsligt missbruk, banker får tidig åtkomst medan tillsynen varnas att kostnaden för att hitta hål faller snabbare än kostnaden att täppa till dem
Bilder
Anthropic has given access to the Claude Mythos AI model to select group of tech companies and banks, including Apple and JP Morgan Photograph: Samuel Boivin/NurPhoto/Shutterstock
Shutterstock
Anthropic förbereder en genomgång för rådet för finansiell stabilitet (FSB) om säkerhetsfynd kring bolagets nya språkmodell Claude Mythos, efter att brittiska statliga testare rapporterat en kraftig ökning av modellens förmåga att på egen hand genomföra dataintrång. Enligt The Guardian har modellen delats med en begränsad krets banker och teknikföretag men inte släppts offentligt, eftersom Anthropic befarar att den kan missbrukas av kriminella. Planen att ta frågan till FSB – ett internationellt organ som bevakar risker för det globala finanssystemet – rapporterades först av Financial Times och bekräftades därefter för The Guardian av en källa med insyn i samtalen.
Den direkta orsaken är en uppdaterad bedömning från Storbritanniens institut för säkerhet hos konstgjord intelligens (AISI), som genomför standardiserade ”förmågeutvärderingar” av de mest avancerade modellerna. Enligt The Guardian fann AISI att den senaste versionen av Mythos klarade ett tidigare olöst prov inom it-säkerhet, kallat ”kyltorn”, i tre av tio försök – något ingen modell som institutet testat tidigare hade lyckats med. AISI uppgav också att längden på de cyberuppgifter som modeller kan utföra självständigt har fördubblats på bara några månader och att man nu konstruerar svårare prov för att hinna med utvecklingen.
För finansiella tillsynsmyndigheter är oron mindre att en enskild modell kan ta sig in i ett enskilt system och mer att kostnaden för att leta efter svagheter faller snabbare än kostnaden för att åtgärda dem. Banker och kritisk marknadsinfrastruktur bygger redan på vidsträckta och svåröverblickbara programvarumiljöer, är beroende av underleverantörer och rättar fel enligt scheman som styrs av driftstopp och efterlevnadskalendrar. Ett verktyg som pålitligt hittar okända sårbarheter krymper tidsfönstret mellan upptäckt och utnyttjande och pressar försvarssidan mot ständig brandsläckning i stället för periodiska förbättringar.
FSB består av höga tjänstemän från centralbanker och finansdepartement i stora ekonomier och har i flera år behandlat cyberrisk som ett gränsöverskridande stabilitetsproblem snarare än en intern it-fråga. The Guardian noterar att Internationella valutafonden 2024 varnade för att snabb utveckling av konstgjord intelligens ökade riskerna för finansiell stabilitet och att ojämn tillsyn kan försvaga ett sammanlänkat system. Samtidigt varnar it-säkerhetspraktiker som citeras i reportaget för att många intrång fortfarande bygger på gamla tillkortakommanden – svag inloggningskontroll och kända sårbarheter som inte rättats – vilket talar för att nya verktyg snarare förstärker befintlig slapphet än skapar helt nya angreppsvägar.
Anthropics genomgång sker i en värld där några av modellens tidigaste användare är just de institutioner som tillsynsmyndigheterna är satta att skydda. The Guardian citerar höga bankchefer som beskriver en ökad medvetenhet om Mythos förmågor, samtidigt som bolaget självt håller modellen begränsad.
AISI:s testare såg alltså Mythos lösa ”kyltorn” tre gånger av tio. Nu ombeds FSB att betrakta det som ett underlag för bedömning av finanssystemets risker – inte som en kuriositet från ett laboratorium.