Dlaczego detektory AI się mylą

W lipcu 2023 roku OpenAI wycofało własny klasyfikator tekstów AI. Powód podano wprost: zbyt niska skuteczność. Narzędzie poprawnie rozpoznawało zaledwie 26% tekstów maszynowych, a 9% tekstów ludzkich błędnie oznaczało jako AI. Od tamtej pory metody się poprawiły, ale podstawowe ograniczenia zostały. Oto skąd się biorą błędy.

Dwa rodzaje pomyłek

Fałszywy alarm — tekst napisany przez człowieka zostaje uznany za maszynowy. To błąd szczególnie groźny, bo może skończyć się niesłusznym oskarżeniem.
Przeoczenie — tekst maszynowy przechodzi jako ludzki. Zdarza się zwłaszcza wtedy, gdy ktoś celowo go przerobił.

Każdy detektor balansuje między tymi błędami: im ostrzej łapie AI, tym więcej fałszywych alarmów, i odwrotnie.

Kiedy ludzki tekst wygląda maszynowo

Piszesz w obcym języku

Badanie Liang i in. (2023, czasopismo Patterns) pokazało, że siedem popularnych detektorów oznaczało jako AI średnio ponad 60% esejów osób zdających egzamin TOEFL, a teksty rodzimych użytkowników języka — rzadko. Prostsze słownictwo i bezpieczne konstrukcje zdań wyglądają dla detektora „przewidywalnie”.

Piszesz według szablonu

Wypracowanie szkolne z wstępem, trzema argumentami i zakończeniem, pismo urzędowe, opis produktu, streszczenie — gatunki z wyraźnym schematem mają z natury wiele cech, które detektory kojarzą z AI.

Tekst jest krótki

Kilka zdań to za mało, żeby statystyka była wiarygodna. Dlatego przy tekstach poniżej kilkuset znaków detektorai.pl obniża pewność i częściej zwraca wynik „niepewne”.

Tekst był redagowany

Korekta, redakcja, narzędzia do poprawiania stylu (również te wbudowane w edytory tekstu) wygładzają tekst i usuwają ślady indywidualności. Tekst jest wtedy w pewnym sensie „współautorski” — a detektor słusznie widzi w nim maszynę.

Tekst jest powszechnie znany

Fragmenty klasyki literatury, aktów prawnych czy popularnych artykułów modele znają z treningu. Metody oparte na przewidywalności potrafią takie teksty uznać za maszynowe.

Kiedy maszynowy tekst wygląda ludzko

Parafrazowanie i „humanizatory”

Badanie Krishna i in. (2023) pokazało, że przepuszczenie tekstu AI przez model parafrazujący drastycznie obniża skuteczność wielu detektorów. Na tej zasadzie działają narzędzia reklamowane jako „humanizatory” — zmieniają słowa i szyk zdań, zachowując treść.

Praca hybrydowa

Człowiek pisze konspekt, model rozwija akapity, człowiek poprawia. Albo odwrotnie. Taki tekst nie jest ani w pełni ludzki, ani maszynowy — i żaden detektor nie rozplącze go zdanie po zdaniu z pewnością.

Polecenia stylu

„Pisz jak nastolatek, z błędami”, „zróżnicuj długość zdań”, „unikaj typowych zwrotów” — nowoczesne modele potrafią całkiem skutecznie ukryć własne nawyki.

Granica teoretyczna

Część badaczy (Sadasivan i in., 2023) argumentuje, że w miarę jak modele piszą coraz bardziej podobnie do ludzi, wiarygodne odróżnienie ich tekstów od ludzkich staje się coraz trudniejsze — i w granicy niemożliwe. Wykrywanie to wyścig, w którym detektor zawsze reaguje na to, co już istnieje.

Jak czytać wynik detektora

Traktuj wynik jako prawdopodobieństwo, nie werdykt. 70% to nie „na 70% AI”, tylko „sygnały częściej spotykane w tekstach maszynowych”.
Patrz na wskazane fragmenty i uzasadnienia, nie tylko na liczbę.
Zwróć uwagę na poziom pewności i na to, co przemawia za człowiekiem.
Nigdy nie opieraj na wyniku decyzji, która może komuś zaszkodzić. Praktyczne wskazówki znajdziesz w artykule AI w szkole i na studiach.

Zobacz też FAQ, wpisy o fałszywych alarmach na blogu albo od razu sprawdź tekst w detektorze.