AI czy człowiek? Jak sprawdzić, kto napisał tekst?

Czy mój artykuł (Czy sztuczna inteligencja kłamie?) został napisany przez sztuczną inteligencję? Zanim odpowiem na to pytanie, zastanówmy się, w jakim celu, po czym i czy w ogóle można rozpoznać teksty napisane przez AI.

Łatwość z jaką AI generuje teksty jest niesamowita. Na podstawie krótkiego prompta jesteśmy w stanie wyczerpująco rozwinąć dowolny temat. Niskim kosztem możemy masowo przygotowywać różnorodne treści. Możemy personalizować komunikaty według potrzeb naszych odbiorców.

To są niewątpliwie pozytywne aspekty korzystania z AI. Ma to jednak także swoją ciemną stronę. Postawmy się w innej roli (nie użytkownika AI) i spójrzmy jakie konsekwencje z punktu widzenia odbiorcy może mieć konsumpcja treści generowanych przez sztuczną inteligencję.

Teksty produkowane przez chatboty nie zawsze są najwyższej jakości. W poprzednim artykule pokazałem, że błędy popełniane przez AI faktycznie się zdarzają. Zatem jeśli natrafimy na teksty, które nie zostały poddane korekcie językowej i merytorycznej, możemy paść ofiarą halucynacji. Jeśli źródła tekstów znalezionych w Internecie nie są zaufane, możemy mieć do czynienia z materiałem wygenerowanym i niesprawdzonym, zatem obarczonym ryzykiem błędów.

Spam był z nami od początku Internetu, ale teraz spamerzy mają do dyspozycji narzędzia, które pozwolą im tworzyć jeszcze więcej szkodliwych treści. Automatyzacja tego procesu w połączeniu z personalizacją treści może sprawić, że jeszcze trudniej będzie nam rozpoznać tego typu treści, a łatwiej paść ofiarą internetowych oszustów. Pamiętamy, że spam to nie tylko uciążliwość, to także potencjalne zagrożenie.

Są przypadki, w których wręcz wymagamy, aby autorem treści był człowiek. W edukacji, literaturze czy dziennikarstwie, oczekujemy od publikowanych tekstów wysokich standardów etycznych. Przyjrzyjmy się temu na przykładzie plagiatu. Modele sztucznej inteligencji zostały wytrenowane na pewnych danych, więc generowane odpowiedzi są pochodną danych treningowych, co może prowadzić do powstawania plagiatów właśnie.

Na dziś brakuje regulacji, które nakazywałby oznaczanie treści generowanych przez AI. Niektóre polskie uczelnie wychodzą naprzeciw tym potrzebom i wytyczają swoim pracownikom naukowym oraz osobom studiującym pewne standardy co do cytowania wygenerowanych tekstów. Prawdopodobnie w przyszłości zostanie to prawnie uregulowane i twórcy treści będę obligowani to oznaczania generowanych utworów. Trudno powiedzieć jednak, na ile to będzie skuteczne. Tymczasem musimy radzić sobie sami.

Powodów, dla których warto próbować rozpoznać, czy tekst został napisany przez człowieka, czy wygenerowany jest zapewne więcej, niż powyższe. Jednak nawet tylko przytoczone przykłady wskazują, że gra jest warta świeczki.

Teksty pisane przez sztuczną inteligencję mogą zawierać pewne elementy szczególne.

AI rzadko popełnia błędy gramatyczne i ortograficzne. Jeśli tekst takowe zawiera, prawdopodobnie jest napisany przez człowieka. Sztuczna inteligencja często powtarza te same słowa i wyrażenia. Teksty ludzi wypełnione są synonimami, z których podążająca za wzorcami sztuczna inteligencja nie korzysta w tak dużym stopniu. Dotyczy to również nadużywania tych samych struktur zdań – to ma szansę zdarzyć się AI częściej, niż człowiekowi. Sztuczna inteligencja ma również tendencje do sięgania po słowa, których na co dzień nie używamy, np. paradoksalnie, ambiwalentnie, iteracyjny, arbitralnie. Chociaż mają one sens w użytym kontekście, to w codziennym użyciu języka w ich miejscu wolelibyśmy widzieć mniej wyrafinowane słownictwo.

Gdy czytamy tekst, w którym budowana jest pewna historia i nagle całkowicie zmienia się kontekst, bez naturalnego, wynikającego z poprzednich zdań przejścia, możemy podejrzewać, że tekst taki napisała sztuczna inteligencja.

Autorzy treści mają swój styl – każdy piszący robi to na swój unikalny sposób. Chociaż niełatwo go czasem uchwycić, to jednak uważna analiza pozwala go dostrzec. Teksty generowane tego stylu nie mają. Treści napisane przez AI, dotyczące nawet odległych dziedzin, mogą wyglądać bardzo podobnie. Teksty pisane przez ludzi często są nacechowane emocjami, których w odpowiedziach AI brakuje. Tutaj wiele też zależy od autora promptów – jeśli prompt dokładnie opisuje styl w jakim AI ma odpowiadać, możemy otrzymać wynik unikalny.

Kardynalne błędy rzeczowe (halucynacje) także mogą być dowodem na to, że tekst został wygenerowany przez AI. Zdarzają się one nawet w stosunkowo prostych treściach, o czym można przeczytać w artykule „Czy sztuczna inteligencja kłamie?”. Ludzie też popełniają błędy (lub celowo wprowadzają w błąd), a Internet jest nimi przesiąknięty. Jednak, gdy halucynacjom towarzyszą inne, opisane wyżej cechy treści AI, być może uda się nam prawidłowo ocenić autorstwo.

Rozpoznanie treści AI nie jest łatwe. Zadanie to może dodatkowo utrudnić osoba publikująca treść poprzez odpowiednie przygotowanie promptów i/lub późniejszą korektę wygenerowanego tekstu. Czy możemy sobie jakoś pomóc?

Świat jest skonstruowany w taki sposób, że jeśli pojawi się jakaś potrzeba, to i znajdzie się rozwiązanie. Nie inaczej jest z wykrywaniem generowanych treści.

Moim celem nie jest wymienienie i przeanalizowanie wszystkich dostępnych na rynku narzędzi. Chciałbym raczej pokazać, że takie narzędzia istnieją i można z nich korzystać, jeśli mamy taką potrzebę.

W Internecie można znaleźć wiele narzędzi dedykowanych do rozpoznawania treści AI. Większość z nim (o ile nie wszystkie) są oparte o jakiś model… sztucznej inteligencji. Wytrenowano je do rozpoznawania przede wszystkim tekstów w języku angielskim i nie wszystkie wspierają język polski. Nasz rodzimy język jest wspierany przez ZeroGPT Kilka eksperymentów, które na potrzeby pisania tego artykułu przeprowadziłem pokazało, że całkiem dobrze radzi sobie z rozpoznawaniem standardowych tekstów (na bazie prostych promptów) generowanych przez różne modele językowe. Lepiej rozpoznawał treści pochodzące od ChatGPT, gorzej (co nie znaczy, że źle) te od Google Gemini. Próbek testowych było jednak na tyle mało, że w innym zbiorze tekstów wynik mógłby być inny. Nie byłbym sobą, gdybym tym narzędziem nie sprawdził tekstów napisanych przez ludzi. Dla pewności użyłem kilku artykułów opublikowanych lata przed pojawieniem się ChatGPT (nie mogły być napisane przez AI). Wynik był jednoznaczny: teksty były napisane przez ludzi.

ZeroGPT nie jest jednak nieomylny. Potrafi się mylić w obie strony: treści AI uznaje jako ludzkie, a treści napisane przez ludzi uważa za generowane. Żadne tego typu narzędzie nie jest skuteczne w stu procentach. Możemy się nimi posiłkować, ale nigdy nie będziemy mieć pewności, że przedstawiony wynik jest na pewno prawdą.

Jest jeszcze jeden sposób. O to, czy dany tekst został napisany przez AI, możemy zapytać ChatGPT lub innego chatbota. Tak, sztuczna inteligencja może oszacować, czy dany tekst jest autorstwa ludzkiego, czy nie. OpenAI, firma, która zbudowała Chat GPT, pracowała swego czasu nad klasyfikatorem treści AI. Z uwagi na jego niską skuteczność, przestano go udostępniać. Ale nic nie stoi na przeszkodzie, aby spytać samego Chat GPT, czy podany tekst został napisany przez AI. Jego skuteczność może jednak nie być wysoka – pamiętajmy, że nie do tego celu został wytrenowany, ale jest to zadanie, które na pewno spróbuje dla nas wykonać.

Odpowiedzmy na pytanie z pierwszego akapity i sprawdźmy jak ZeroGPT zadziała na treści artykułu „Czy AI kłamie?”. Oto wynik:

Jako że w treści mojego artykułu wkleiłem fragmenty konwersacji z AI (np. przekomarzanie się z Gemini na temat Korony Gór Polski czy rozmowa z Arystotelesem), to część została zidentyfikowana jako tekst wygenerowany. ZeroGPT popełnił też kilka błędów - część odpowiedzi AI uznał za ludzkie, a jeden z moich akapitów zaklasyfikował do treści AI. Ogólnie można jednak powiedzieć, że poradził sobie nieźle.

Powstało wiele narzędzi, które „uczłowieczają” teksty generowane przez AI. Nie miałem okazji z nich jeszcze korzystać, nie wiem więc, na ile są w stanie oszukać ludzką czujność i narzędzia takie jak ZeroGPT. Warto jednak mieć świadomość, że istnieją.

Nie wszyscy zdają sobie sprawę, że istnieje polski asystent AI. Nazywa się Bielik.ai i został wytrenowany, aby dobrze władać językiem polskim. Za pomocą ZeroGPT sprawdziłem kilka odpowiedzi Bielika. Wynik 0% AI nie był rzadkością.