Perpleksja i „burstiness”: dlaczego przewidywalność zdradza maszynę

Kiedy na początku 2023 roku pierwsze detektory tekstów AI stały się popularne, wiele z nich opierało się na dwóch pojęciach: perpleksji i „burstiness”. Oba brzmią technicznie, ale ich sens da się wyjaśnić bez wzorów.

Perpleksja: jak bardzo tekst zaskakuje model

Wyobraź sobie grę w zgadywanie następnego słowa. Ktoś czyta ci zdanie słowo po słowie, a ty przy każdym kroku obstawiasz, co będzie dalej. Po „Dzień dobry, chciałbym zamówić…” łatwo zgadnąć „pizzę” albo „stolik”. Po „Moja babcia trzymała w szafie…” jest już dużo więcej możliwości.

Model językowy gra w tę grę bardzo dobrze. Perpleksja mierzy, jak trudna była ta gra dla modelu na danym tekście: niska perpleksja oznacza, że słowa były łatwe do przewidzenia, wysoka — że tekst często go zaskakiwał.

Tekst wygenerowany przez model jest zwykle mało zaskakujący dla modelu — w końcu powstał przez wybieranie prawdopodobnych słów. Człowiek częściej sięga po nietypowe słowo, osobisty szczegół, żart albo konstrukcję, której model by nie wybrał.

„Burstiness”: czy tekst ma rytm

Drugie pojęcie dotyczy zmienności. Ludzie piszą nierówno: po długim, rozbudowanym zdaniu potrafią postawić krótkie. Bardzo krótkie. Raz piszą prosto, raz zawile; jeden akapit jest przewidywalny, następny pełen niespodzianek. Ta „wybuchowość” — ang. burstiness — dotyczy zarówno długości zdań, jak i tego, jak zmienia się perpleksja między zdaniami.

Teksty modeli częściej mają równy rytm: zdania podobnej długości, podobnie zbudowane, o podobnym poziomie przewidywalności. W detektorai.pl część tej informacji widać w metrykach Długość zdania i Zmienność zdań — ta druga to współczynnik zmienności długości zdań.

Dlaczego to działa — czasami

Połączenie niskiej perpleksji i niskiej zmienności to rzeczywiście częsty podpis tekstu z czatu, szczególnie gdy ktoś wkleja odpowiedź bez poprawek. Dlatego te miary trafiły do pierwszych narzędzi i nadal są przydatne jako jeden z sygnałów.

Dlaczego to nie wystarcza

• Prosty tekst też jest przewidywalny. Instrukcja obsługi, regulamin, notatka służbowa czy wypracowanie pisane według schematu mają niską perpleksję, choć napisał je człowiek.
• Znane teksty są „przewidywalne”. Fragment Konstytucji czy popularnej książki model mógł widzieć w danych treningowych tak wiele razy, że przewiduje go bez trudu.
• Język obcy dla autora. Osoby piszące w drugim języku używają prostszego słownictwa i bezpieczniejszych konstrukcji — co obniża perpleksję. Badanie Liang i in. (2023) pokazało, że popularne detektory oznaczały jako AI ponad połowę esejów osób uczących się angielskiego.
• Łatwo to zmienić. Wystarczy poprosić model o „bardziej zróżnicowany styl” albo przepuścić tekst przez parafrazę, żeby obie miary wyraźnie wzrosły.
• Zależność od modelu. Perpleksja zależy od tego, którym modelem się ją liczy. Tekst nowego, innego modelu może wyglądać dla starego modelu mniej przewidywalnie.

Co z tego wynika

Perpleksja i zmienność są dobrym punktem wyjścia, ale słabą podstawą wyroku. Nowocześniejsze metody — porównywanie kilku modeli, analiza całej kompozycji tekstu, ocena konkretnych fragmentów — korzystają z tych samych intuicji, ale łączą je z innymi sygnałami. Przegląd znajdziesz w artykule Jak działa wykrywanie tekstu napisanego przez AI.