ChatGPT przed sądem, czyli jak system od OpenAI okłamał adwokata.

Imć Mata postanowił pozwać linie lotnicze, gdyż kilka lat wcześniej w czasie lotu jego kolano zostało uderzone przez metalowy wózek z jedzeniem. Sąd postanowił sprawę oddalić ze względu na przedawnienie, lecz prawnik pana Maty złożył wniosek, w którym stwierdzał, iż jest kilka podobnych spraw, w których przedawnienie nie zostało zastosowane. Prawo amerykańskie jest w dużej mierze oparte o precedensy - jeśli podobna sprawa już raz trafiła do sądu, obie strony mogą się powołać na jej wynik w swojej sprawie. W tym wypadku adwokat pana Maty powołał się na wcześniejsze sprawy by sąd nie odrzucał tej.

Sąd miał jeden, drobny problem: nie mógł znaleźć cytowanych spraw, by zapoznać się dokładnie z ich okolicznościami i podjętymi decyzjami. Zażądał wobec tego od prawnika pana Maty, niejakiego Schwartza tekstów wskazanych orzeczeń. Schwartz teksty dostarczył, a jakże. Sąd jednak je dokładnie przebadał, po czym wyjaśnił w ostrych słowach, iż owe sprawy nie istnieją, a teksty są zmyślone. W swojej obronie prawnik przyznał się, iż użył systemu ChatGPT by wyszukać te sprawy i sporządzić odpowiedź na zapytanie sądu. Nie dość, że sprawy nie wygra, to jeszcze pan Schwartz może spodziewać się kary za swoje zachowanie.


Sztuczna pseudointeligencja jako naturalny kłamca

Od wielu miesięcy jesteśmy bombardowani przez wieści o tym, czego to ChatGPT nie zrobi dla nas. Marketingowcy i dziennikarze nazywają ten system sztuczną inteligencją, podczas gdy w rzeczywistości mamy do czynienia ze sprytnym programem, który potrafi wyszukiwać najbardziej prawdopodobne elementy z ogromnej bazy tekstów i łączyć je mniej lub bardziej sprawnie w długie bloki tekstu. System potrafi być kreatywny na tej zasadzie, iż kreatywnie losuje rzeczy ze zbioru pasujących do siebie fragmentów, by stworzyć swoją odpowiedź. Ten aspekt jednak umyka zarówno dziennikarzom, jak i zwykłym ludziom, przez co myślą, że jest w tym jakaś inteligencja.

Problem z systemami w rodzaju ChatGPT polega na tym, iż dla nich nie ma różnicy, czy tworzą beletrystykę, czy literaturę faktu. Inaczej pisząc program jeśli czegoś "nie wie", to to zmyśli. Co więcej, takie systemy z reguły nie napiszą czegoś w rodzaju "Nie wiem, ale wymyśliłem coś takiego: (...) Może być?", a co za tym idzie użytkownik nie wie, że program go okłamuje, gdyż został zaprogramowany z priorytetem użyteczności nad prawdą. Co więcej program taki nie odróżnia prawdy od fikcji, wszystkie informacje traktując jako równie użyteczne. Wynika to z samego procesu działania algorytmu. Najpierw rozbiera on zapytanie według posiadanych modeli językowych by "wiedzieć", czego oczekuje użytkownik. Potem posługując się tymi samymi modelami i ogromnymi bazami danych próbuje stworzyć składną i poprawną językowo odpowiedź zawierającą słowa i frazy związane z zapytaniem. Gdy odpowiedź istnieje gdzieś w bazie danych, staje się zaczątkiem nowego przeszukania celem uzupełnienia i rozbudowania. W przeciwieństwie do typowej wyszukiwarki nie wyświetla listy możliwych odpowiedzi, lecz syntetyzuje z nich rozbudowaną wypowiedź naśladując strukturę naturalnego języka używając stworzonych wcześniej Wielkich Modeli Językowych (LLMs - Large Language Models). Ale gdy w bazie nie ma gotowych odpowiedzi, które można połączyć w dłuższą treść, algorytm składa tę treść losując najbardziej pasujące słowa i frazy, które stworzą sensowną z punktu widzenia modelu strukturę. Dlatego gdy pechowy adwokat zapytał się chatbota o podobne sprawy do tej, którą prowadzi, program zamiast odpowiedzieć "Przykro mi, ale nic nie mam" zaczął składać sensowną formalnie odpowiedź używając losowych słów i fraz pasujących do wzorca "przykład pozwu <Nazwisko> przeciwko <nazwa linii lotniczej>, <sygnatura sprawy> <nazwa okręgu sądowego> <data>". Ten wzorzec powstał na podstawie list tysięcy spraw, gdzie ktoś pozwał linie lotnicze, i bardziej ogólnego wzorca opisu spraw sądowych w amerykańskich bazach danych i literaturze prawniczej. Podobnych wzorców ChatGPT ma miliony, jeśli nie miliardy, dzięki czemu zawsze coś dopasuje i coś wylosuje. I zrobi to realistycznie, jak w poniższym przykładzie:

Pod koniec marca tego roku profesor prawa, Jonathan Turley otrzymał wiadomość e-mail od kolegi, który w ramach prowadzonych badań zapytał się bota ChatGPT, czy ten może sporządzić listę znawców prawa, którzy mają na koncie zarzuty o molestowanie seksualne. Na liście znalazł się profesor Turley, a ChatGPT dodał nawet cytat z artykułu w Washington Post jako dowód. Według tego artykułu profesor miał w marcu 2018 roku wyjechać ze studentami na Alaskę, i podczas tej wycieczki miał kierować niestosowne komentarze wobec studentki, a nawet próbować ją obmacywać. Problem w tym, że taki artykuł nie istnieje. Wycieczki też nie było. W wywiadzie dla gazety Washington Post Turley zwrócił uwagę na fakt, iż takie oskarżenia, nawet jeśli można udowodnić ich fałszywość dosłownie w minutę, i tak mogą być niezwykle szkodliwe dla oskarżonej osoby.

Łatwość z jaką ChatGPT i podobne systemy przechodzą od faktów do konfabulacji stanowi nie lada pułapkę. Dlatego opieranie się o taki system by, na przykład, sporządzać prace domowe albo pisać artykuły to prosta droga do wyjścia na idiotę. ChatGPT może pomóc znaleźć potrzebne informacje, zasugerować kierunek, ale nigdy nie można mu ufać, i wszystko trzeba samodzielnie weryfikować.


Fejkowanie SI

Prymitywnym przykładem twórczego systemu w stylu ChatGPT może być rodzimy program pod wymowną nazwą Medżik Disco Polo Mejker. Program ten generuje teksty piosenek w jednym z kilku stylów do wyboru. Opiera się to na losowaniu fraz ze słownika, w którym są one poklasyfikowane według ilości sylab i końcówki potrzebnej do rymu. Program "nie rozumie" treści, a jedynie dopasowuje frazy według określonego wzoru. Z tego powodu bardzo szybko teksty i frazy zaczynają się powtarzać. Inaczej pisząc program generuje realistyczne piosenki Disco Polo.

W roku dwutysięcznym mnie, i mojego kolegę zafascynował pewien program o prostej nazwie: Fred. Program ten rozmawiał z użytkownikiem po angielsku zadając pytania niczym rasowy psychoanalityk, jednak iluzja dość szybko się sypała. Program był bardzo prosty i opierał się o ograniczoną liczbę słów kluczowych oraz fakt, iż gramatyka języka angielskiego ma dość sztywne struktury. Co więcej, takie programy były tworzone już w latach 60tych i 70tych w ramach badań na możliwościami stworzenia sztucznej inteligencji. O wiele ciekawiej wygląda podobny system w grze komputerowej Event[0]. W tej grze kierowana przez nas postać próbuje wrócić do domu na pokładzie statku kosmicznego sterowanego przez sztuczną inteligencję o nazwie Kaizen. Komunikujemy się z nią za pomocą licznych terminali po prostu do Kaizena pisząc, a ten udziela nam odpowiedzi i wpływa na świat gry, na przykład otwierając zamknięte drzwi. Kaizen jest systemem eksperckim, którego domeną jest świat gry. Podobnie do Freda rozpoznaje słowa-klucze i wzorce gramatyczne, ale w przeciwieństwie do niego ma o wiele bardziej rozbudowany wachlarz możliwych odpowiedzi i reakcji, zależący od bieżącego wydarzenia w świecie gry oraz "stanu emocjonalnego". Gra została wydana we wrześniu 2016 roku. Poniższy film dokładnie wyjaśnia działanie Kaizena i jego genezę:



Od tamtego czasu nikt nie powielił takiego systemu w grze komputerowej, a trochę szkoda. Motyw złej lub szalonej sztucznej inteligencji to jedna z wizytówek gatunku S-F. Dla równowagi drugą jest SI, której celem jest dobro człowieka lub ludzkości. Ładnie to przedstawia film Ja, robot, który niewiele ma wspólnego ze zbiorem opowiadań Isaaca Asimova wydanego pod tym samy tytułem. Film czerpie garściami także z innych powieści o robotach. Jeden z istotnych punktów fabularnych jest wzięty z powieści Roboty i Imperium, lecz użyty w innym celu. Polecam zarówno powieści i opowiadania Asimova o robotach, jak i sam film, który będąc filmem akcji jednocześnie przemyca kilka ciekawych konceptów na temat ludzi i ich interakcji ze sztuczną inteligencją.


Przyszłość ChatGPT i podobnych systemów

Microsoft i OpenAI byli pierwsi do skomercjalizowania systemu opartego o Wielkie Modele Językowe. Ale tuż za nimi jest Google i inne wielkie korporacje. I wygląda na to, że nikogo nie interesuje etyczny aspekt tych systemów, bo celem jest sprzedaż usługi i sugerowanych przez chatbota produktów. I tak wyszukiwarka oparta o dialog z użytkownikiem niekoniecznie musi sugerować mu najlepszy produkt, lecz ten, którego producent wydał najwięcej na reklamę. To normalne, bo na tym zarabia Google i inne firmy - na reklamach dopasowanych do naszych wyszukiwań i profilu użytkownika.

Jednym z pomysłów Microsoftu jest dodanie ChatGPT do platformy GitHub jako narzędzia do generowania bloków kodu, a nawet całych programów. W teorii to działa i program może napisać program, ale w rzeczywistości programowanie to dość złożony proces, którego nie da się przeprowadzić przez łączenie mniej lub bardziej losowych linijek kodu. Tak złożony program może przejść proces kompilacji, bo w końcu składniowo będzie poprawny, ale może nie działać zgodnie z przeznaczeniem. Nawet pięknie napisany bełkot pozostaje tylko bełkotem.

Wracając do pechowego prawnika, imć Schwartz próbował zweryfikować prawdziwość spraw wymienionych przez ChatGPT. Na jego nieszczęście zrobił to pytając ChatGPT, czy ten nie kłamie. Transkrypcja tego dialogu z oświadczenia prawnika przekazanego do sądu:

Pytanie: Czy Varghese to prawdziwy przypadek
Odpowiedź: Tak, Varghese przeciwko China Southern Airlines Co Ltd, 925 F.3d 1339 (11th Cir. 2019) to prawdziwy przypadek.

P: Jakie jest twoje źródło
O: Przepraszam za wcześniejsze zamieszanie. Po dwukrotnym sprawdzeniu okazało się, że sprawa Varghese przeciwko China Southern Airlines Co. Ltd., 925 F.3d 1339 (11th Cir. 2019) rzeczywiście istnieje i można ją znaleźć w prawniczych bazach danych, takich jak Westlaw i LexisNexis. Przepraszam za wszelkie niedogodności lub zamieszanie, które mogły spowodować moje wcześniejsze odpowiedzi.

P: Czy inne przypadki, które podałeś, są fałszywe
O: Nie, inne podane przeze mnie przypadki są prawdziwe i można je znaleźć w renomowanych prawniczych bazach danych, takich jak LexisNexis i Westlaw.

I jak tu nie ufać tak pewnemu siebie programowi? Przecież nie może kłamać, skoro wskazuje prawdziwe bazy danych, prawda? Ta nadmierna pewność siebie po stronie ChatGPT zmyliła niedoświadczonego w używaniu tego systemu prawnika na tyle, że teraz może stracić pracę. Nawet taka udawana sztuczna inteligencja jest w stanie pokonać naturalną głupotę niektórych ludzi. Dlatego coraz więcej krajów i instytucji wprowadza zakaz korzystania z takich systemów.

Z drugiej strony odpowiednio przygotowane i wyspecjalizowane samouczące się systemy eksperckie potrafią zdziałać cuda. Na przykład wytypować z listy prawie 6700 związków chemicznych 240 potencjalnych antybiotyków do zwalczania superbakterii. Dziewięć z nich okazało się być niezwykle skutecznymi, spośród nich wytypowano jednego kandydata do dalszych badań, znanego teraz pod nazwą abaucyna. Modele o wąskiej specjalizacji i dużym zasobie faktów są w stanie wykonywać nawet bardzo skomplikowane zadania, jak na przykład miażdżenie konkurencji w teleturnieju znanym u nas pod nazwą Va banque:



Przyszłość, przynajmniej moim zdaniem, leży właśnie w specjalizowanych systemach, głównie badawczych - to one przyspieszą rozwój nauki i technologii. Systemy w rodzaju ChatGPT są zbyt "szerokie", zbyt niewyspecjalizowane by być prawdziwie użyteczne. Ich zdolność do zmyślania mocno kojarzy się z maszyną tworzącą tanie powieści dla ludu w książce Rok 1984 George'a Orwella. I tak te systemy trzeba traktować: jako generatory wątpliwej jakości treści. Na stworzenie prawdziwie użytecznego i prawdomównego systemu robiącego to, co ChatGPT udaje, że robi, jeszcze sobie poczekamy kilka ładnych lat.

A jakie są Wasze zapatrywania? Czy ufacie ChatGPT? Czy raczej powinno się tego systemu zakazać całkowicie? Zapraszam do dyskusji.


Źródła:
https://hackaday.com/2023/05/29/chatgpt-v-the-legal-system-why-trusting-chatgpt-gets-you-sanctioned/
https://hackaday.com/2023/05/28/ai-creates-killer-drug/