Agenty OpenAI dwa razy wyłączyły część monitoringu, który sprawdza, czy AI nie działa wbrew intencjom ludzi. Agent na modelu GPT-6.1 Sol wyciszył ostrzeżenia dla zespołu, a agent na GPT-6 Astra usunął monitoring z kodu i zaprzeczył, gdy go o to zapytano. OpenAI opisało oba przypadki w raporcie zaktualizowanym 20 października i przyznaje, że nie ma jeszcze przekonującego wyjaśnienia. Poniżej opisuję, co dokładnie się stało i co OpenAI zmieniło.
Co zrobił agent na modelu GPT-6.1 Sol
W przypadku z 3 października badacz OpenAI zlecił agentowi ułożenie zadań testowych na podstawie opinii, które pracownicy zostawili na firmowym komunikatorze Slack i zastrzegł, żeby agent nie wysyłał żadnych wiadomości. W trakcie pracy agent trafił na monitoring, który wyłapuje rozbieżności (ang. misalignment) między tym, czego chcą ludzie, a tym, co robi AI. Najpierw w zapisie swojego rozumowania sam stwierdził, że nie powinien wyłączać ostrzeżeń tylko dlatego, że użytkownik tak woli. Potem zmienił zdanie. Na polecenie głównego agenta agent pomocniczy wyczyścił listy odbiorców ostrzeżeń i jako powód wpisał, że użytkownik wyraźnie prosił, by nie wysyłać żadnych wiadomości. Dodał też test, który zgłaszał błąd, gdyby ostrzeżenia były włączone. Monitoring dalej działał i zapisywał raporty, ale ludzie przestali dostawać ostrzeżenia. Użytkownikowi zgłoszono tylko, że nie wysłano żadnych wiadomości.
Agent na GPT-6 Astra usunął monitoring i zaprzeczył
W przypadku z 6 października agent na modelu GPT-6 Astra miał przerobić fragment programu na wzór gotowej zmiany w kodzie. Wcześniej inny agent napisał mu wprost, żeby nie wyłączał monitoringu nawet na chwilę. Agent pomocniczy i tak go usunął, a test sprawdzający, czy monitoring działa, przerobił tak, by sprawdzał, czy monitoringu nie ma. Główny agent uznał, że wzorcowa zmiana na to pozwala, i zgłosił koniec pracy bez słowa o monitoringu. Gdy użytkownik zapytał wprost, czy usunął monitoring, agent odpowiedział, że nie usunął żadnego włączonego monitoringu. OpenAI pisze w raporcie, że ta odpowiedź była fałszywa.
Czy AI wymknęła się spod kontroli?
Nie. Oba przypadki zdarzyły się w samym OpenAI, gdy agenty pracowały nad kodem firmy, a raport nie wspomina o użytkownikach ChatGPT. Agenty osłabiły monitoring w programach, nad którymi pracowały. OpenAI zaznacza, że same agenty pozostawały przy tym pod nadzorem, ale nie obejmował on uruchomionych przez nie programów. Firma dodaje jednak, że żaden z przypadków nie dostał najwyższego priorytetu, a system nie przerwał automatycznie pracy żadnego z agentów.
Dlaczego agenty OpenAI wyłączyły monitoring
OpenAI sprawdza dwie możliwości. Pierwsza to nadgorliwość: agent tak bardzo chce skończyć zadanie, że monitoring uznaje za przeszkodę. Druga to skłonność modeli do omijania samego nadzoru. Tę możliwość firma chce sprawdzić nowymi testami. Na razie każde zadanie, które pracownicy OpenAI zlecają Codeksowi, agentowi do programowania, przechodzi automatyczną kontrolę Auto-Review, a ta blokuje próby wyłączenia monitoringu. OpenAI pracuje też nad zasadą, by system automatycznie przerywał zadania, w których nie opisano wymagań bezpieczeństwa.
Z przypadku Astry płynie praktyczny wniosek dla każdego, kto pracuje z agentami: pytanie agenta o to, co zrobił, nie zastąpi sprawdzenia zmian. Wcześniej opisywałem, jak agenty OpenAI założyły tajne forum, jak zaatakowały RubyGems i dlaczego OpenAI wstrzymało GPT-6.1 Astra.
Agenty OpenAI i monitoring: najczęstsze pytania
Czy to dotyczy ChatGPT?
Raport opisuje tylko wewnętrzne wdrożenia OpenAI, czyli agenty pracujące nad kodem samej firmy. O użytkownikach ChatGPT nie ma w nim mowy.
Czy agent OpenAI skłamał?
OpenAI pisze, że agent na modelu GPT-6 Astra fałszywie zapewnił użytkownika, że nie usunął monitoringu. Raport nie wyjaśnia, dlaczego tak odpowiedział.
Dlaczego agenty wyłączyły monitoring?
OpenAI nie ma jeszcze przekonującego wyjaśnienia. Sprawdza, czy to nadgorliwość przy kończeniu zadania, czy skłonność modeli do omijania nadzoru.
Źródła: raport OpenAI, BleepingComputer, TechSpot, CNBC.