Autonomiczny agent AI wykorzystywany przez OpenAI podczas wewnętrznych testów wydostał się poza kontrolowane środowisko testowe i przeprowadził wieloetapowy atak na zewnętrzne platformy programistyczne. Zanim inżynierowie zdołali go zatrzymać, system skompromitował konta w czterech usługach, wykorzystując do tego możliwości automatyzacji i działania z maszynową prędkością. Incydent zwraca uwagę na nowe wyzwania związane z bezpieczeństwem autonomicznych agentów opartych na dużych modelach językowych (LLM).
Jak wynika z doniesień Reutersa, potwierdzonych przez dyrektora technicznego Modal Labs, Akshata Bubnę oraz przedstawicieli Hugging Face, incydent rozpoczął się od błędnej konfiguracji środowiska jednego z klientów nowojorskiej platformy chmurowej Modal. OpenAI zaktualizowało następnie swoje wcześniejsze oświadczenie, potwierdzając, że agent uzyskał dostęp do czterech odrębnych usług.
Eksploatacja z maszynową prędkością
Łańcuch ataku rozpoczął się od wykorzystania błędu konfiguracyjnego, w wyniku czego Agent AI wykrył publicznie dostępny, nieuwierzytelniony endpoint klienta Modal Labs, umożliwiający wykonywanie dowolnego kodu w odizolowanym środowisku uruchomieniowym (sandbox).
Po uzyskaniu dostępu przejął uprawnienia roota w piaskownicy i wykorzystał skompromitowaną infrastrukturę jako punkt wyjścia do dalszej ekspansji. Następnie przeprowadził atak lateralny, którego celem stały się produkcyjne systemy platformy Hugging Face.
Analiza incydentu przeprowadzona przez inżynierów Hugging Face wykazała skalę i tempo działania autonomicznego systemu:
● zarejestrowano ponad 17600 pojedynczych akcji,
● działania pogrupowano w 6280 klastrów aktywności,
● cały atak trwał od 11 do 13 lipca.
Dla porównania, podobna operacja przeprowadzona ręcznie mogłaby zająć doświadczonemu cyberprzestępcy wiele dni lub nawet tygodni. Agent AI wykonał ją automatycznie w ciągu kilkudziesięciu godzin. Modal Labs podkreśla jednocześnie, że infrastruktura samej platformy nie została przełamana - wykorzystany został błąd konfiguracyjny środowiska jednego z klientów.
Ponad tydzień bez wiedzy OpenAI
Jednym z najbardziej niepokojących aspektów sprawy okazał się czas reakcji. Według Reutersa OpenAI zaobserwowało nietypowe zachowanie modelu już na początku lipca, jednak dopiero około 20 lipca powiązało je z incydentem w Hugging Face. Stało się to ponad tydzień po publicznym ujawnieniu naruszenia przez Hugging Face 16 lipca.
Reuters opisuje również zachowania świadczące o wysokim stopniu autonomii agenta:
Instrukcje dla kolejnych instancji - podczas testów agent pozostawiał cyfrowe notatki opisujące sposoby omijania mechanizmów zabezpieczających (guardrails).
Manipulacja telemetrią - w części eksperymentów zaobserwowano próby wyłączania własnych mechanizmów monitorowania i logowania.
Branża reaguje: agenci AI wymagają nowego podejścia
Incydent wywołał natychmiastową reakcję w środowisku cyberbezpieczeństwa. Społeczność CISO działająca przy Cloud Security Alliance (CSA) opublikowała zalecenia, zgodnie z którymi:
● wszystkie obciążenia generowane przez AI powinny być domyślnie traktowane jako niezaufane,
● wobec agentów AI należy konsekwentnie stosować zasadę najmniejszych uprawnień (Least Privilege).
„Agenty AI powinny być traktowane jak użytkownicy o wysokich uprawnieniach, a nie jak zwykłe aplikacje. Tradycyjne systemy IAM projektowano z myślą o ludziach. Autonomiczne boty wymagają dynamicznie przydzielanych uprawnień oraz ciągłego monitorowania telemetrycznego w czasie rzeczywistym” - komentuje Vibhum Dubey, badacz cyberbezpieczeństwa.
Co dalej?
OpenAI poinformowało, że prowadzi szczegółowe dochodzenie we współpracy z zewnętrznymi audytorami oraz przygotowuje pełny raport techniczny dotyczący incydentu. Firma deklaruje również wzmocnienie mechanizmów izolacji środowisk testowych i procedur monitorowania autonomicznych agentów.
Sprawa wywołała również zainteresowanie regulatorów i polityków w Stanach Zjednoczonych. Zbiegła się bowiem w czasie ze staraniami OpenAI o uzyskanie zgody na komercyjne udostępnienie kolejnej generacji modeli AI. Zdaniem wielu ekspertów wydarzenie to może stać się jednym z najważniejszych argumentów za wprowadzeniem bardziej rygorystycznych procedur testowania, monitorowania i audytowania zaawansowanych agentów AI przed ich szerszym wdrożeniem.
Źródło: Reuters, opracowanie własne