ChatGPT pomaga Ci w pisaniu tekstów do social mediów i na blog? A może korzystasz z jego pomocy w układaniu strategii Twojej firmy? Świetnie, ale… uważaj, bo czasem lubi nazmyślać.
Pojawiają się wtedy, gdy sztuczna inteligencja*:
Czasem podaje statystyki, których nie ma w podanych źródłach, czasem bardzo luźno interpretuje dane.
Kiedy spytałam go, kim jest Katarzyna Zubrzycka-Sarna, jego odpowiedź nie była o mnie. Więcej na temat mojego eksperymentu znajdziesz w artykule Uczłowieczanie tekstów AI.
Najpierw określił mnie jako pisarkę, poetkę (tu naprawdę odjechał) i publicystkę. Potem połączył moje dokonania z dokonaniami innej pani, która ma tylko pół mojego nazwiska.
Co ciekawe, kiedy powtórzyłam ten eksperyment po 2 miesiącach w wersji pro ChatuGPT – wygenerował najprawdziwszą prawdę o mnie. Nie wiem, czy to kwestia tego, że trochę się już znamy, czy jakiejś zmiany na lepsze w algorytmach.
Nie jest więc tak, że za każdym razem, kiedy pytasz o fakty, dostaniesz błędną odpowiedź. Te odpowiedzi będą w większości prawidłowe.
Według danych Siliconangle:
Niby niedużo, ale można wpaść w niezłe tarapaty.
Roberto Mata pozwał linię lotniczą Avianka, twierdząc, że dostał obrażeń podczas lotu do Nowego Jorku, kiedy metalowy wózek uderzył go w kolano. Kiedy sąd chciał odrzucić wniosek, prawnik pana Maty przedstawił 10 stronicowy dokument orzeczeń sądowych w podobnych przypadkach wraz z cytatami.
Problem polegał na tym, że nikt nie potrafił dotrzeć do tych orzeczeń, bo… zostały stworzone przez ChatGPT.
No i klops.
Prawnik tłumaczył się przed sądem, że dotąd nie korzystał z pomocy AI i nie wiedział, że dane mogą być zmyślone. Zarzekał się też, że weryfikował odpowiedzi Chatu GPT, pytając, czy dane są prawdziwe. A ChatGPT odpowiedział: Tak.
Historię znalazłam na stronie New York Timesa, więc uznaję ją za wiarygodną.
Aby pojąć, czym są halucynacje, trzeba wiedzieć, na jakich zasadach działają modele językowe (LLM-y).
LLM-y nie przeprowadzają badań tak, jak robią to ludzie.
Modele językowe działają na postawie równania:
Dobierają słowo, które może pojawić się jako następne w ciągu słów na podstawie statystyki i wzorców.
Prognozują, czyli trochę wróżą. A wiadomo, jak jest z prognozami – czasem ma padać, a tu świeci słońce.
AI halucynuje także dlatego, że może korzystać z danych szkoleniowych nie najlepszej jakości. Te dane mogą być niewystarczające, niepełne albo obciążone uprzedzeniami.
AI działa na podstawie wydawanych poleceń, dlatego jeśli polecenie jest zbyt mało konkretne albo abstrakcyjne, AI może pozwolić sobie na odjechane wnioski.
Nie wiem, jak skończyła się historia z prawnikiem, który korzystał z wymyślonych przez ChatGPT orzeczeń, ale wiem, że kopiowanie słowo w słowo wyników AI to zły pomysł.
Wyobraź sobie, że podajesz nieprawdziwe dane we wpisie na blogu albo w social mediach. Albo w opisie swojego produktu. Ludzie to powtarzają, biorą za autentyczne, a potem okazuje się, że to nie jest prawda.
Brak weryfikacji danych uzyskanych od sztucznej inteligencji może spowodować, że:
Chociaż sztab ludzi pracuje nad tym, by odpowiedzi modeli językowych były jak najbardziej precyzyjne i odpowiadały konkretnie na zadane pytania, na razie nie są w stanie pozbyć się halucynacji raz na zawsze.
Co można zrobić?
Można je ograniczyć, zaczynając od etapu wydawania poleceń po ostateczną weryfikację.
1. Precyzyjne polecenia
2. Dane w pliku
3. Przykłady poprawnych odpowiedzi
4. Prompty weryfikacyjne dla Chata GPT
5. Sprawdzenie w innym modelu LLM
6. Nadzór człowieka
Na jednym ze szkoleń dotyczących AI usłyszałam fajne porównanie promptu do sklepu obuwniczego. Kiedy chcesz kupić buty, masz jakieś preferencje. Może wyjeżdżasz na urlop i potrzebujesz sandałów, może idziesz na imprezę sylwestrową i szukasz odjazdowych butów na wysokiej szpili, a może kupujesz dziecku nowe kapcie do przedszkola.
Kiedy wejdziesz do sklepu z butami i powiesz sprzedawcy:
– Poproszę buty.
To hmmm… Dostaniesz cokolwiek. Zresztą w ogóle trudno to sobie wyobrazić, żeby ktoś tak powiedział.
Tak samo jest z promptowaniem. Ogólne polecenia zadziałają źle. Im bardziej będą konkretne, pokazujące kontekst i Twoje preferencje, tym lepiej dla odpowiedzi.
Jeśli ograniczysz ilość danych wejściowych, do takich, które Cię interesują, znajdziesz odpowiedzi bardziej dopasowane do Twoich zapytań.
Zamiast prosić ChatGPT, aby bazował na internecie (bardzo ogólne polecenie) albo na konkretnej stronie internetowej, zrzuć interesujące Cię dane do pliku. A potem pracuj z Chatem GPT na tym właśnie pliku. Możesz tam wrzucić artykuły, badania ze źródeł, które wcześniej znalazłaś dzięki Chatowi GPT. Poproś, by swoje odpowiedzi opierał o dane zawarte w tym pliku.
Odpowiedzi Chata GPT będą bardziej precyzyjne, kiedy wrzucisz w okienko czatu cały tekst artykułu niż kiedy poprosisz ChatGPT, żeby przeczytał artykuł na stronie i wysnuł wnioski.
Możesz użyć polecenia:
„Odpowiedz na pytanie, używając tylko tych informacji, które można przypisać do [Twoje źródło]”.
Dajesz AI wskazówki, jak chcesz, żeby wyglądała odpowiedź. To trochę tak, jakbyś uczyła dziecko grać w ping-ponga (ostatnio próbowałam z 5-latkiem i nie do końca mi wyszło :)). Najpierw musisz pokazać, jak sama to robisz. Podrzucasz piłkę, uderzasz paletką, przerzucasz na drugą stronę stołu. Dzięki temu dziecko wie, że grając w pingla musi odbijać paletką.
Kiedy dasz Chatowi GPT kilka poprawnych odpowiedzi, żeby zrozumiał, o co chodzi, dostaniesz dokładniejsze dane.
Nie wystarczy zapytać, czy dane, które podałaś, są prawdziwe? Bo odpowiedź: „Tak” może mieć przykre konsekwencje, tak jak w przypadku prawnika, który korzystał z wymyślonych precedensów w sądzie.
Tu już wchodzimy w wyższą szkołę promptowania.
Przykładowy prompt, który zmusza ChatGPT, aby sprawdził sam siebie:
„Zbadaj dokładność poniższej odpowiedzi: [Twój tekst do weryfikacji]
- Zidentyfikuj kluczowe informacje zawarte w odpowiedzi.
- Dla każdej z tych informacji stwórz listę pytań weryfikacyjnych, które pomogą potwierdzić ich prawdziwość.
- Sprawdź odpowiedzi na każde z tych pytań w niezależnych, wiarygodnych źródłach.
- Na podstawie zebranych danych popraw odpowiedź, aby była dokładna i oparta na zweryfikowanych informacjach.
- Przedstaw ostateczną, zweryfikowaną wersję odpowiedzi.”
Prześlij odpowiedź Chata GPT do innego modelu językowego np. Gemini czy Perplexity AI i poproś o weryfikację danych.
Niech „kolega” po fachu sprawdzi, czy ChatGPT nie zbłądził.
Jak bardzo byś nie marzyła o tym, żeby przyspieszyć pracę nad tekstami, to i tak musisz (nie lubię używać tego słowa w moich tekstach, ale tu naprawdę MUSISZ) je sprawdzić, zanim opublikujesz – pod kątem logicznym, gramatycznym, stylistycznym, a przede wszystkim merytorycznym.
Zwłaszcza jeśli podajesz dane, statystyki i badania.
Dopytaj ChatGPT skąd ma informacje, niech poda konkretne źródła.
Podanie linków To nie koniec roboty. Trzeba w nie wejść i sprawdzić, czy na danej stronie są informacje, które streścił Ci ChatGPT.
Pewnie myślisz sobie teraz, że AI ma przyspieszać pracę, a Ty musisz teraz siedzieć i grzebać w źródłach? Pomyśl więc, że i tak to zajmie Ci mniej czasu, niż gdybyś szukała tych badań samodzielnie.
Halucynacje AI nie znikną ot, tak i cały czas trzeba mieć się na baczności, generując dane z pomocą Chatu GPT. Łatwiej to zrozumieć, kiedy przestaniesz traktować AI jak wszystkowiedzącego profesora.
Zamiast tego pomyśl o nim, jak o narzędziu, które pomaga Ci zebrać dane do Twoich tekstów. Te dane potrzebują weryfikacji. W końcu pod nimi podpiszesz się swoim nazwiskiem albo nazwą swojej marki.
* Uwaga: Kiedy używam w tym artykule nazw AI, szutczna inteligencja i ChatGPT, mam na myśli modele językowe sztucznej inteligencji.
Kasia Zubrzycka-Sarna, copywriterka, założycielka marki Pisarenka, autorka e-booków o blogowaniu oraz współautorka książki “Chcę WWWięcej”. Na pisarenkowym blogu podpowiada, jak moc słowa wykorzystać w budowaniu własnej marki.