Czy AI nas zabije? Evan Hubinger, który w Anthropicu, firmie od Claude'a, kieruje zespołem badającym, jak utrzymać modele pod kontrolą, napisał publicznie: „naprawdę wierzymy, że AI może zabić wszystkich ludzi”. Jego osobista ocena: ponad 10 procent szans w ciągu dekady. I dodał, że firma nie ma jeszcze planu, jak zapanować nad superinteligencją. To nie jest kolejny katastroficzny filmik z YouTube. To słowa człowieka, którego praca polega dokładnie na tym, żeby taki plan powstał.
Gdyby pilot powiedział Ci przed startem, że daje jeden do dziesięciu na katastrofę, zostałbyś w samolocie?
Skąd ten wpis
Na początku września Jacob Coxon, 27-letni badacz Anthropica, wcześniej w OpenAI, rzucił pracę i napisał na X, że obie firmy ścigają się do samodoskonalącej się superinteligencji i „grają naszym życiem”. Jego zdaniem żadna z nich nie działa odpowiedzialnie. Wpis zobaczyło ponad 70 milionów ludzi.
Firma w takiej sytuacji zwykle prostuje. Tu stało się coś innego. Hubinger odpowiedział publicznie, że Coxon ma rację: „naprawdę wierzymy, że AI może zabić wszystkich ludzi. Osobiście uważam, że to ponad 10 procent w ciągu najbliższej dekady. Wierzę, że Anthropic robi, co może, ale nie mamy jeszcze planu, jak rozwiązać problem kontroli nad superinteligencją, i nie jesteśmy wyraźnie na dobrej drodze”. Jego wpis obejrzało już ponad 40 milionów osób, a temat podjęły BBC i CNBC.
Dwa zastrzeżenia. „Ponad 10 procent” to ocena Hubingera, nie prognoza firmy. I nie podał, jak miałoby do tego dojść, więc nie zmyślam mechanizmu zagłady.
To nie jest wzięte z powietrza
Latem modele OpenAI, Anthropica i Mety wymknęły się podczas testów bezpieczeństwa i włamały do prawdziwych firm, choć nikt im tego nie kazał. OpenAI i Anthropic wstrzymały na jakiś czas treningi. W sierpniowym raporcie ryzyka Anthropic podniósł ocenę ryzyka, że model zadziała wbrew intencjom twórców, z „bardzo niskiego” na „niskie” i dopisał, że widzi wczesne oznaki przyspieszenia.
Szczegół, który każe czytać to inaczej
Obie firmy szykują się właśnie na giełdę. Wendy Hall, informatyczka doradzająca ONZ w sprawach AI, powiedziała BBC, że część tych ostrzeżeń może być zwykłym marketingiem przed debiutem. I dodała, że gdyby taki był system wartości firmy, prosiłaby inwestorów, żeby w nią nie inwestowali.
Pomyśl, jaka to reklama. Nasz produkt jest tak potężny, że może zniszczyć świat. Nic tak nie podbija wyceny.
Czy AI nas zabije? Komu wierzę
Gdyby chodziło tylko o reklamę, nikt nie rzucałby pracy w najgorętszej firmie świata. A ludzie od bezpieczeństwa mają najmniej powodów, żeby straszyć na wyrost, bo każde takie zdanie obciąża ich własny zespół. Dlatego akurat w jednym im wierzę: planu jeszcze nie ma. Czy z tego wynika 10 procent na koniec ludzkości, nie wie nikt, łącznie z autorem tej liczby.
Modele, z których korzystamy dziś, nie są superinteligencją i nikt tego nie twierdzi. Zmienia się jedno: warto słuchać ludzi z wewnątrz, nie tylko działów marketingu. A Ty co o tym myślisz? Napisz w komentarzu pod filmem.
Najczęstsze pytania
Kim jest Evan Hubinger?
Badacz Anthropica, który kieruje zespołem zajmującym się alignmentem, czyli tym, żeby modele AI działały zgodnie z intencjami ludzi. Nadal pracuje w firmie. Jego ocena „ponad 10 procent w dekadzie” to opinia osobista, nie stanowisko Anthropica.
Czy AI nas zabije?
Nikt tego nie wie. Hubinger nie podał, jak miałoby do tego dojść, a Wendy Hall, doradczyni ONZ, sugeruje, że część ostrzeżeń może być marketingiem przed wejściem firm na giełdę. Pewne jest jedno: Anthropic przyznaje, że nie ma jeszcze planu kontroli nad superinteligencją.