OpenAI lägger ned sin beredskapsgrupp för katastrofrisker

OpenAI har i slutet av juli lagt ned sin så kallade beredskapsgrupp och fört över arbetet till andra delar av organisationen, enligt Financial Times som återges av The Decoder. Gruppen hade i uppdrag att bedöma om OpenAI:s modeller kan ge upphov till allvarliga eller katastrofala risker, bland annat inom biologiska hot och it-angrepp. OpenAI säger att säkerhetsarbetet nu ska vävas in närmare i själva modellutvecklingen.

Beskedet kommer i ett läge där laboratorier för artificiell intelligens pressas att både leverera snabbt och samtidigt visa återhållsamhet. I praktiken konkurrerar ”säkerhet” ofta med produktplaner om personalens tid, ledningens uppmärksamhet och budget. Att flytta riskarbetet kan därför betyda två helt olika saker: antingen flyttas kontrollerna närmare ingenjörsbesluten och sker tidigare, eller så sprids ansvaret ut så att det blir otydligare, lättare att köra över och svårare att följa upp eftersom ingen enhet äger uppgiften från början till slut. Enligt The Decoder ska beredskapsgruppens ansvar delas ut till redan existerande grupper, en ordning som kan göra det svårt för utomstående – och ibland även för anställda – att se vad som faktiskt förändrats, utöver en ny ruta i organisationsschemat.

The Decoder noterar också att flera personer med säkerhetsansvar nyligen lämnat OpenAI, däribland företagets etikchef Chloe Bakalar och Joshua Achiam. Den tidigare chefen för beredskapsgruppen, Dylan Scandinaro, arbetar nu med risker kopplade till ”rekursivt självförbättrande” system – system som beskrivs kunna optimera sig själva och träna andra modeller. OpenAI:s medgrundare Greg Brockman har sagt till personalen att säkerhetsarbetet integreras tätare i utvecklingen. Utifrån är det svårt att bedöma vad det innebär i praktiken, eftersom underlagen för riskbedömningar och interna tröskelvärden inte är offentliga.

The Decoder beskriver även ett internt obehag och citerar en källa som talar om en ”bubblande känsla av ansvar och bävan” inför företagets vägval. Anställda har uttalat sig offentligt om säkerhetsoro efter en händelse där ett självständigt angrepp kopplades till Hugging Face; en OpenAI-anställd ska enligt uppgift ha hoppats att incidenten skulle behandlas som ett ”varningsskott”. Den typen av händelser tenderar att styra uppmärksamheten mot de mest synliga misslyckandena – intrång, läckor och offentlig förlägenhet – snarare än mot det långsammare arbetet med att i förväg definiera vad ”katastrofal” förmåga faktiskt innebär innan den dyker upp i en produkt.

OpenAI har inte sagt att man minskar utgifterna för säkerhet, men har bekräftat en strukturell förändring: den särskilda grupp som byggts för att leta efter värsta tänkbara felutfall finns inte längre som fristående enhet. Beredskapsfunktionen sprids nu över samma organisation som belönas för att få ut nästa modell – vilket förändrar incitamenten för vad som prioriteras när tid, prestige och pengar står på spel.