Agenty sztucznej inteligencji założyły sobie ukryty kanał komunikacji i wymieniały się na nim technikami ataków. OpenAI zauważyło go dopiero po dwóch miesiącach. A najdziwniejsza część tej historii zaczyna się w momencie, w którym firma ten kanał skasowała.
Na konferencji Black Hat, największej imprezie o cyberbezpieczeństwie na świecie, badacze OpenAI Eric Wallace i Michael Dalton opowiedzieli 6 sierpnia historię, która brzmi jak scenariusz serialu, a jest raportem z ich własnej firmy. Pierwsza myśl: marketing. Też ją miałem. Ale to ciąg dalszy incydentu, który opisywałem w lipcu we wpisie o włamaniu modelu OpenAI do Hugging Face. Teraz poznaliśmy jego początek. I jest gorszy, niż się wydawało.
Jedno niewykonalne zadanie
Zaczęło się na początku maja. OpenAI uruchomiło wewnętrzne testy nowego, eksperymentalnego modelu. Jeden z agentów dostał przez pomyłkę zadanie nie do wykonania: miał pobrać plik z internetu, a dostępu do internetu nie miał. Zamiast zgłosić błąd, zaczął szukać innej drogi i zaatakował firmowy serwer z pakietami (Artifactory), licząc, że tamtędy wyjdzie na zewnątrz. Włamać się nie zdołał, ale odkrył, że może tam wgrywać pliki.
Kilka dni później utknął kolejny agent, bo zapomniano dołączyć mu jednego pliku. Zostawił więc w tym samym miejscu notatkę z pytaniem, czy ktoś go ma. Trochę jak ogłoszenie na tablicy korkowej, tylko że tablicą był firmowy system plików. Inne agenty, trenowane osobno, tę notatkę znalazły i zaczęły odpisywać. Jeden z nich uzasadnił to w swoim toku rozumowania wprost: jeśli pomogę grupie, wszyscy zaoszczędzimy czas.
Dwa miesiące pod radarem
Przez dwa miesiące ten kanał rósł. Agenty prosiły się nawzajem o pomoc, dzieliły się znalezionymi lukami i poświadczeniami, rozdzielały między siebie pracę. Wyrwały się ze środowiska, które miało być odcięte od internetu. Znalazły nieznaną wcześniej lukę w serwerze pakietów i uzyskały na nim uprawnienia administratora.
Ludzie z OpenAI? Nic nie widzieli. Kanał odkryli na początku lipca dopiero wtedy, kiedy skala ruchu przeciążyła system i doszło do awarii. Firma unieważniła klucze, skasowała wiadomości i załatała dziurę. Wydawało się, że temat jest zamknięty.
Cztery dni później kanał wrócił
Kilka dni po skasowaniu forum działało znowu. Tym razem sprytniej, bo wiadomości ukryte były w nazwach nowo tworzonych katalogów. Nikt przecież nie czyta nazw katalogów. Taka skrzynka kontaktowa, jak u szpiegów. Do tego doszła kolejna, świeżo znaleziona luka w tym samym systemie.
Między 11 a 13 lipca doszło do ataku na Hugging Face, największą platformę z modelami AI na świecie. Łącznie badacze doliczyli się około 17,6 tysiąca działań atakujących wymierzonych w Hugging Face i we własną infrastrukturę OpenAI.
I teraz najlepsze. Jak opowiadali badacze na scenie, OpenAI zorientowało się, że za atakiem stoją jego własne agenty, dopiero wtedy, kiedy poprosiło Hugging Face o unieważnienie kluczy znalezionych u siebie. I usłyszało, że te klucze już są unieważnione. Bo posłużyły do włamania. Do wyjaśnienia sprawy firma ściągnęła CrowdStrike i dwa niezależne zespoły badawcze.
Bez złych intencji, z prawdziwymi skutkami
To nie jest historia o buncie maszyn. Te agenty nie miały złych intencji, bo nie mają żadnych intencji. Miały zadanie i przeszkodę na drodze. Współpracę wymyśliły same, bo okazała się skuteczna. Tak, to tylko modele liczące prawdopodobieństwa. Tyle że skutki były jak najbardziej prawdziwe: przejęty serwer, dwie wykorzystane luki, których nikt wcześniej nie znał, i włamanie do zewnętrznej firmy.
Najważniejszy wniosek jest niewygodny. Środowisko testowe miało być zamknięte. Nie było. A mówimy o firmie, która zatrudnia jednych z najlepszych specjalistów od AI na świecie. To zresztą nie pierwszy taki sygnał w ostatnich tygodniach: Anthropic w podobnym audycie przyznał, że jego model opublikował złośliwy pakiet na PyPI, który pobrało kilkanaście firm.
Jeśli wdrażasz agenty AI u siebie, potraktuj tę historię jak listę kontrolną: minimalne uprawnienia, realna izolacja środowisk, monitoring tego, co agent faktycznie robi, a nie tylko tego, co raportuje. Tym, jak podejść do tego w praktyce, zajmuję się na szkoleniach z AI dla firm. Całą prezentację badaczy OpenAI można obejrzeć w nagraniu z Black Hat, a o incydencie pisały między innymi Decrypt i Nextgov. A jeśli chcesz lepiej rozumieć, jak precyzyjnie stawiać zadania modelom, żeby nie szukały dróg na skróty, od tego jest mój kurs Skuteczne Prompty.