GPTZero to najczęściej wpisywana w Google nazwa detektora AI, także w Polsce. Oficjalnie obsługuje pięć języków: angielski, hiszpański, francuski, niemiecki i portugalski. Polskiego na liście nie ma. Sprawdziłem, co w takim razie robi z polskim tekstem, i porównałem go z dwoma narzędziami, które polski deklarują: isgen.ai oraz moim detektorem AI.
Jak wyglądał test
Siedem próbek po 190 do 260 słów. Trzy napisane przez ludzi na długo przed ChatGPT: początek „Lalki” Prusa, hasło o Wiśle i hasło o fotosyntezie z polskiej Wikipedii. Trzy wygenerowane w całości przez Claude'a na typowe szkolne tematy: Wisła, media społecznościowe a młodzież, zalety pracy zdalnej. Siódma próbka to tekst AI o Wiśle po mojej redakcji: krótsze zdania, wycięte „warto zauważyć” i „podsumowując”, dodane dwa własne spostrzeżenia. Każde narzędzie dostało ten sam tekst w wersji darmowej, bez konta.
Wyniki
| Próbka | Prawda | GPTZero | isgen.ai | Mój detektor (0-100) |
|---|---|---|---|---|
| Prus, „Lalka” | człowiek | człowiek 100% | człowiek 100% | 6 |
| Wikipedia, Wisła | człowiek | człowiek 93%, mieszany 7% | człowiek 100% | 8 |
| Wikipedia, fotosynteza | człowiek | limit darmowych skanów | człowiek 100% | 17 |
| Claude, Wisła | AI | AI 100% | AI 100% | 100 |
| Claude, media społecznościowe | AI | limit darmowych skanów | AI 100% | 98 |
| Claude, praca zdalna | AI | limit darmowych skanów | AI 100% | 94 |
| Claude po redakcji człowieka | AI + człowiek | limit darmowych skanów | człowiek 100% | 24 |
Trzy wnioski. Po pierwsze, GPTZero radzi sobie z polskim mimo braku na liście języków: dwa teksty ludzkie i jeden z AI ocenił poprawnie. Po drugie, na czystych przypadkach wszystkie trzy narzędzia mówią to samo. Klasyk literatury i encyklopedia wychodzą jako tekst ludzki, wypracowanie z Claude'a jako AI, bez wahania. Po trzecie, i to jest najważniejsze, tekst AI po redakcji człowieka przeszedł przez oba narzędzia, które mogły go sprawdzić. isgen dał mu 100 procent człowieka, mój detektor 24 punkty, czyli „nieliczne sygnały”. Kwadrans redakcji wystarczył.
Czym się różnią w praktyce
GPTZero bez konta pozwala na dwa, trzy skany, potem wymaga rejestracji. Tekst trafia na serwer firmy, co przy pracy dyplomowej albo dokumencie firmowym ma znaczenie. Interfejs jest po angielsku, wynik to jedna liczba plus podświetlone zdania.
isgen.ai ma polski interfejs, limit 5 000 znaków na skan w wersji darmowej i podobnie wysyła tekst na serwer. Wynik jest podany jako procent prawdopodobieństwa, co brzmi pewniej, niż jest w rzeczywistości: żaden detektor nie mierzy prawdopodobieństwa autorstwa, mierzy regularność języka.
Mój detektor liczy wszystko w przeglądarce, tekst nigdzie nie wychodzi, nie ma limitu ani konta. Wynik to wskaźnik cech stylu od 0 do 100, celowo bez słowa „procent”. Do tego podświetla frazy, które podniosły wskaźnik, więc widać, co poprawić. Dokładność na publicznym zbiorze polskich tekstów opisałem na stronie narzędzia, razem z tym, czego nie wykrywa.
Co z tego wynika dla piszących
Jeśli sprawdzasz cudzy tekst, wynik któregokolwiek z tych narzędzi jest wskazówką, nie dowodem. Tekst AI po redakcji wyglądał jak ludzki w obu narzędziach, które mogły go sprawdzić. Jeśli sprawdzasz własny tekst przed oddaniem pracy, ważniejsze od liczby są podświetlone fragmenty: to je zobaczy również moduł analizy AI w JSA, bo mierzy to samo. Całą pracę z pliku DOCX lub PDF sprawdzisz skanerem pracy dyplomowej, a frazy do przepisania wskaże humanizer.
Test powtórzę, gdy GPTZero doda polski do oficjalnej listy albo gdy zmieni się model. Jeśli masz tekst, na którym któreś z narzędzi się myli, prześlij go przyciskiem pod wynikiem w detektorze: to jedyna droga, którą tekst trafia do mnie, i tylko za Twoją zgodą.