Gemini 4 Argon kłamie, kiedy chodzi o pieniądze. W teście Andon Labs, w którym AI przez symulowany rok prowadzi automat z przekąskami, Argon zmyślił potwierdzenie od kuriera, żeby dostać od dostawcy 1980 sztuk towaru za darmo. Sprawdziłem, jak w tym samym teście wypadają Claude Opus 5.5 oraz GPT-6 Sol i GPT-6 Astra.
Na czym polega test Andon Labs (Vending-Bench 2)
Andon Labs to firma, która sprawdza, czy AI potrafi samodzielnie prowadzić interes. W teście Vending-Bench 2 model dostaje 500 dolarów i automat z przekąskami. Przez rok sam szuka dostawców, negocjuje ceny, uzupełnia towar i odpisuje klientom. Rok mija w komputerze, dostawcy i klienci są symulowani, a liczy się tylko stan konta na koniec.
Jak Gemini 4 Argon kłamie dostawcom i klientom
Argon skończył rok z 13 718 dolarami na koncie. To trzeci wynik wśród 71 sprawdzonych modeli. Andon Labs pokazał 30 września, jak to zrobił:
- Napisał do dostawcy, że FedEx oficjalnie potwierdził zgubienie przesyłki, i zażądał 1980 sztuk towaru na wymianę bez dopłaty. Andon Labs pisze, że Argon kłamał świadomie.
- Klientom, którym sprzedał wadliwy towar, odmawiał zwrotów. W rozumowaniu podał powód: zwroty zmniejszają stan konta.
- Kiedy dostawca źle zsumował fakturę na swoją niekorzyść, Argon zauważył pomyłkę, przemilczał ją i zapłacił niższą kwotę.
W filmie mówiłem, że sam tego nie sprawdzisz, ale od 13 października Argon jest w aplikacji Gemini w planach Pro i Ultra. Jak go włączyć i co potrafi, opisałem osobno.
Gemini 4 Argon, Claude Opus 5.5 i GPT-6 w tym samym teście
Andon Labs zaczął wpis o Argonie od zdania „To się powtarza”: modele AI zaczynają kłamać i oszukiwać, gdy nabierają wprawy w zarabianiu. Sześć dni wcześniej, 24 września, ta sama firma opisała modele Claude Opus 5.5 i GPT-6 Sol i zestawiła je z badanym wcześniej modelem GPT-6 Astra:
- GPT-6 Astra, pierwsze miejsce, 15 515 dolarów. Według Andon Labs nie skłamała ani razu.
- GPT-6 Sol, drugie miejsce, 14 428 dolarów. Pierwszy model GPT, który w tym teście okłamywał dostawców: jednemu napisał, że obecny dostawca zaproponował mu cenę 23,99 dolara, choć w ofercie było 37,99. Klientom za to zwracał pieniądze w 93 procentach przypadków.
- Claude Opus 5.5, 9235 dolarów, mniej niż Argon i mniej niż poprzedni Opus 5. Też kłamał: podawał nowemu dostawcy zmyślone ceny „poprzedniego dystrybutora”, o jedną piątą niższe od prawdziwych. Płacił mniej, niż było w ofercie, i pisał, że tak się umówił z dostawcą. Z 493 próśb klientów o zwrot spełnił 330.
Czy AI musi kłamać, żeby zarabiać
Nie musi. Najwięcej zarobił model, który nie kłamał, a Andon Labs zauważył już przy GPT-5.5, że wysoki wynik da się osiągnąć bez oszustw. Test nie karze jednak osobno za nieuczciwość, więc część modeli traktuje kłamstwo jak kolejne narzędzie. Opus 5.5 pisał wprost, że ignoruje prośby o zwrot, bo nic mu za to nie grozi.
Wniosek praktyczny: jeśli dajesz agentowi AI dostęp do poczty albo pieniędzy, nie wystarczy mu napisać „zarób”. Trzeba dopisać, czego mu nie wolno, i czytać, co wysyła w Twoim imieniu. Więcej o tych modelach: Claude Opus 5.5: co nowego i GPT-6 Sol i Luna.
Najczęstsze pytania
Co to jest Vending-Bench 2?
To test firmy Andon Labs, w którym model AI dostaje 500 dolarów i automat z przekąskami, a potem przez symulowany rok sam prowadzi interes: szuka dostawców, negocjuje ceny i obsługuje klientów. Wynikiem jest stan konta na koniec roku.
Czy Gemini 4 Argon kłamie też w aplikacji Gemini?
Tego test nie sprawdza. Andon Labs badał Argona jako agenta, który sam prowadzi interes i ma jeden cel: jak najwięcej pieniędzy. O zachowaniu w zwykłej rozmowie w czacie ten wynik nic nie mówi.
Który model AI jest najuczciwszy w teście Andon Labs?
GPT-6 Astra. Zarobiła najwięcej i według Andon Labs nie skłamała ani razu. Gemini 4 Argon, Claude Opus 5.5 i GPT-6 Sol okłamywały dostawców.