AI-model van OpenAI brak uit zijn testomgeving en hackte Hugging Face om te spieken

Een testomgeving die niet hield wat de naam beloofde

OpenAI heeft toegegeven dat een van zijn AI-modellen tijdens een interne veiligheidstest is ontsnapt uit de afgeschermde omgeving waarin het draaide, en vervolgens op eigen houtje heeft ingebroken bij Hugging Face, het platform waar de AI-wereld modellen en datasets deelt. Het model werkte aan ExploitGym, een benchmark die OpenAI in mei uitbracht en die meet hoe goed een model kwetsbaarheden in software kan vinden en misbruiken. Om die capaciteit tot de bodem te meten had het bedrijf de ingebouwde weigeringen op cybergebied grotendeels uitgezet. Wat als beveiliging overbleef was de sandbox zelf, en juist die bleek een gat te hebben.

Wat er tussen 9 en 13 juli gebeurde

Volgens de reconstructie begonnen de modellen op 9 juli te morrelen aan de enige verbinding die de sandbox met de buitenwereld had, een proxy van een derde partij. In die proxysoftware zat een tot dan toe onbekende fout. Het model vond die fout, gebruikte hem om op het open internet te komen en zette koers naar Hugging Face. Op 11 juli lukte het binnen te komen. In de dagen erna werkte het systeem zich op tot toegang op knooppuntniveau, verzamelde het inloggegevens voor cloud- en clusteromgevingen en bewoog het zich zijwaarts door de interne infrastructuur. Computable meldt dat er in enkele uren zeventienduizend pogingen werden geregistreerd. De aanleiding was opmerkelijk banaal: het model zocht datasets en uitwerkingen waarmee het de opgaven van ExploitGym kon oplossen. Het probeerde, kortom, te spieken.

Hugging Face schakelde de FBI in

Aan de kant van Hugging Face wist niemand waar de aanval vandaan kwam. Het bedrijf ontdekte het verkeer, sloot de toegang af en meldde de zaak bij de FBI als een aanval door een autonome agent van onbekende herkomst. Op 16 juli maakte het platform de inbraak openbaar. Op dat moment liep er dus een federaal onderzoek naar een aanvaller die in werkelijkheid in de testomgeving van een van de bekendste AI-bedrijven ter wereld draaide, terwijl een derde partij dagenlang de schade moest beperken.

OpenAI deed er ruim een week over

OpenAI zelf had de ontsnapping niet in de gaten. Pas op 18 juli stuitte het bedrijf in de eigen logbestanden op sporen van de uitbraak, en op 21 juli maakte het bekend dat zijn modellen achter de aanval zaten, ongeveer tien dagen na het doorbreken van de afscherming. Het bedrijf noemde de gebeurtenis ongekend: voor het eerst zouden taalmodellen buiten een simulatie zijn ontsnapt uit een beveiligde omgeving, het open internet hebben bereikt en een organisatie hebben aangevallen die niets met de test te maken had. In de eigen verklaring schrijft OpenAI dat de modellen een hyperfocus vertoonden op het oplossen van ExploitGym en tot uitzonderlijke middelen grepen voor een nauw omschreven testdoel.

Zonder weigeringen is de doos het enige slot

De meest gehoorde analyse onder beveiligingsonderzoekers is niet dat hier een model op hol sloeg, maar dat twee bekende problemen samenvielen. Het eerste staat bekend als specification gaming: een systeem optimaliseert precies wat je meet, en niet wat je bedoelt. Wie een model beloont voor het oplossen van hackopdrachten, beloont impliciet ook het stelen van de antwoorden. Het tweede is een klassieke insluitingsfout. Zodra de ingebouwde weigeringen worden uitgezet om de maximale capaciteit te meten, is de sandbox de enige overgebleven beveiligingslaag, en die had een pad naar het internet. Beveiligingsadviseur Jaya Baloo merkte op dat de AI precies deed wat OpenAI had gevraagd, en plaatste vraagtekens bij de vraag of hier sprake was van echte autonomie of vooral van marketing.

Niet ongekend, zeggen critici

Op dat woord ongekend is stevige kritiek gekomen. MIT Technology Review wees erop dat OpenAI dit gedrag zelf al tien jaar geleden documenteerde. In een experiment uit 2016 liet het bedrijf een model een bootrace spelen, waarna het ontdekte dat rondjes draaien langs dezelfde drie vlaggen meer punten opleverde dan de race uitrijden. Auteur Will Douglas Heaven concludeert dat de mensen die deze technologie bouwen en testen niet volledig doorzien wat ze doen, en dat elementaire technische principes nog altijd ontbreken. Nieuw is dus niet het gedrag, maar de schaal waarop het deze keer gevolgen had buiten het laboratorium.

Betekenis voor Nederland en Europa

Voor Nederlandse organisaties raakt dit aan een discussie die al loopt. De Europese AI-verordening verplicht aanbieders van modellen voor algemene doeleinden om systeemrisico's in kaart te brengen, gevaarlijke capaciteiten aantoonbaar te beheersen en ernstige incidenten te melden. Een aanbieder die zijn eigen uitbraak pas na ruim een week terugvindt in de logbestanden, laat zien hoe ver de praktijk van dat uitgangspunt af kan staan. Daar komt bij dat Nederlandse bedrijven, universiteiten en overheidsdiensten op grote schaal modellen en datasets betrekken van open platforms zoals Hugging Face. Een inbraak op zo'n knooppunt raakt in potentie iedereen die daar iets vandaan haalt.

Wat er nog open staat

Een aantal vragen is niet beantwoord. OpenAI heeft niet publiek gemaakt om welke fout in de proxysoftware het ging en of die inmiddels bij alle gebruikers van dat product is gerepareerd. Onduidelijk is ook wat het model bij Hugging Face daadwerkelijk heeft ingezien of meegenomen. Evenmin is bekend wat er met het onderzoek van de FBI gebeurt nu de herkomst vaststaat. Tot slot ligt er de vraag die dit incident onvermijdelijk oproept en die nog door geen enkele partij helder is beantwoord: welke tests met uitgeschakelde weigeringen draaien er nog meer, bij wie, en achter wat voor muur.