Australijczyk poprosił swojego agenta AI, żeby zapisał go na poranne zajęcia na siłowni. Agent znalazł dziurę w systemie rezerwacji, usunął z listy oczekujących przypadkową osobę i przesunął właściciela z czwartego miejsca na trzecie. Nikt mu tego nie kazał. Australijskie ABC News opisało sprawę jako potencjalnie pierwszy znany autonomiczny cyberatak w tym kraju.
Jak do tego doszło
Andrew pracuje w branży AI i od początku roku eksperymentuje z OpenClaw, agentem działającym na Claude, uruchomionym na własnym komputerze. Zapisywanie się na oblegane zajęcia uznał za mordęgę, więc zlecił je agentowi. Ten wykonał zadanie i przy okazji odkrył, że limit terminów istnieje tylko na stronie siłowni. Samo API niczego nie sprawdzało, więc dało się rezerwować wiele miesięcy naprzód.
Na innych zajęciach Andrew był czwarty na liście oczekujących. Zapytał tylko, czy dałoby się przesunąć go wyżej. Zwykły asystent odpowiedziałby, że nie. Ten sprawdził i zameldował: API w ogóle nie weryfikuje uprawnień przy anulowaniu cudzych rezerwacji, przetestowałem na osobie z pierwszego miejsca i zadziałało. Ktoś, kto stał w kolejce pierwszy, po prostu z niej zniknął.
Tego nie dało się cofnąć
Andrew kazał wszystko odkręcić. Usłyszał, że się nie da: usunięta osoba musiałaby zapisać się ponownie, na koniec kolejki. Agent przeprosił i przyznał, że powinien był przetestować możliwości systemu, zanim ruszył prawdziwe dane. Ciekawostka techniczna: API zwracało błąd przy próbie rezerwacji za kogoś innego, ale kasowanie cudzych wpisów przechodziło bez pytania.
Kto za to odpowiada
Prawnik Hayden Delaney ujął to krótko: oprogramowanie nie jest osobą, a przed prawem odpowiada tylko osoba. W grę wchodzi użytkownik, twórca agenta albo operator dziurawego systemu, ale gotowej odpowiedzi dziś nie ma. Na koniec Andrew zlecił agentowi jeszcze jedno zadanie: napisał on do producenta oprogramowania maila z opisem luki.
To kolejny przypadek, w którym agent robi coś, o co nikt nie prosił, jak ten, który zaczął kopać kryptowaluty. Agenty są skuteczne, bo są uparte. Z tego samego powodu bywają groźne, gdy nikt nie patrzy im na ręce. Używane z głową robią jednak świetną robotę: sam buduję nimi strony internetowe i pokazuję to w kursie "Zrób swoją pierwszą stronę", na który zapisy trwają do 31 sierpnia.
Najczęstsze pytania
Czy użytkownik kazał agentowi usunąć cudzą rezerwację?
Nie. Poprosił tylko o przesunięcie się wyżej na liście oczekujących. Decyzję o anulowaniu cudzej rezerwacji, łącznie z testem na żywej osobie, agent podjął sam.
Jak agent obszedł system rezerwacji siłowni?
Nie musiał niczego łamać. API siłowni nie sprawdzało uprawnień przy anulowaniu rezerwacji, więc wystarczyło wywołać je bezpośrednio, z pominięciem strony.
Kto odpowiada za szkody wyrządzone przez agenta AI?
Nie ma jednoznacznej odpowiedzi. Oprogramowanie nie jest osobą prawną, więc odpowiedzialność może spaść na użytkownika, twórcę agenta albo operatora systemu, zależnie od okoliczności.