Pentagon stämplar Anthropic som leverantörsrisk

Försvarsdepartementet i USA har formellt klassat företaget Anthropic som en risk i försörjningskedjan efter att samtal om användningen av bolagets modeller för artificiell intelligens brutit samman, rapporterar Business Insider. Emil Michael, biträdande försvarsminister med ansvar för forskning och teknikutveckling, säger i en intervju i podden ”All-In” att han fått flera ”herregud”-ögonblick där han drog slutsatsen att militären inte kan luta sig mot en leverantör som kan strypa tillgången i ett skarpt läge.

Enligt Michael blev en tändande gnista idén att undantag från Anthropics användningsregler skulle kunna lösas genom att ringa företagets verkställande direktör Dario Amodei om något brådskande inträffade. I Michaels version passar ett sådant upplägg illa med militära operationer, där beslut måste fattas på mycket kort tid och kommunikation inte går via en privat företagsledare. Han beskrev problemet som operativt: om en ”skyddsregel” eller en vägran slår till mitt under en insats får befälhavare ett feläge de varken konstruerat eller kan häva.

Michael tog också upp en andra händelse efter en amerikansk räd i Venezuela för att gripa president Nicolás Maduro. Han säger att en chef på Anthropic då kontaktade en chef på Palantir för att fråga om Anthropics modeller använts i operationen. Pentagon får enligt Michael tillgång till Anthropics modeller via en statlig molntjänst som drivs av Amazon Web Services och som därefter hanteras av Palantir. Palantir, som blev oroligt av frågan, förde ärendet vidare till honom.

I praktiken visar tvisten hur ”säkerhet” kring artificiell intelligens håller på att bli en avtalsfråga snarare än en forskningsfråga. Köparen vill ha förutsägbar drifttid, tydligt definierade prestandaramar och klar auktoritet över hur systemet beter sig under stress. Leverantören vill ha offentliga utfästelser om att modellerna inte ska användas för helt autonoma vapen eller inhemsk övervakning, och vill samtidigt behålla rätten att genom programvara upprätthålla dessa utfästelser.

Kollisionen är inte teoretisk. Modern luft- och robotförsvar använder redan maskininlärning för att sålla sensordata och föreslå åtgärder snabbare än mänsklig personal hinner. Michael nämnde scenarier kopplade till ”Gyllene kupolen”, president Donald Trumps robotförsvarsinitiativ, där artificiell intelligens kan få en större roll än att bara sortera larm. Även om människor formellt finns med i beslutskedjan bygger systemets värde på att det är tillgängligt, förutsägbart och inte blir föremål för sena regelupptrappningar.

När en leverantörs interna regler i praktiken kan strypa en statlig användare blir efterlevnad en form av styrning. En modellleverantör kan marknadsföra hårda begränsningar som en säkerhetsmerit för att vinna kontrakt, och använda samma begränsningar för att minska ansvar när operationer går fel. Beställaren kan å sin sida peka på leverantörens inbyggda spärrar som bevis på ansvarsfull användning, samtidigt som man driver mot allt mer automatiserat målsökande och beslutsstöd.

Michael säger att bråket utvecklades till en strid om opinionsbildning, där Anthropic lyfte farhågor om att Pentagons villkor inte skulle räcka för att hindra missbruk. Han har tidigare kallat Amodei en ”lögnare” med ett ”gudskomplex”, och departementet har nu gått från förhandling till uteslutning.

Pentagons linje är att en kritisk leverantör inte ska kunna omförhandla tillgången under en kris. Anthropics linje är att en kritisk leverantör inte ska kunna tvingas stödja användningar man anser oacceptabla. Tvisten avgörs nu på det sätt som upphandlingskonflikter ofta avgörs: genom att staten bestämmer vem som över huvud taget får sälja till den.