Modele językowe potrafią generować odpowiedzi, które brzmią przekonująco, ale nie zawsze odzwierciedlają rzeczywistość obiektywnie. Świadomość tego, że sztuczna inteligencja może przedstawiać świat zniekształcony, jest kluczowa dla właściwej interpretacji jej sugestii. Załóżmy, że w rozmowie o inwestycjach Państwa rozmówca to osoba skłonna do ryzyka. Czy wpłynęłoby to na sposób, w jaki oceniają Państwo jej rady? A jeśli podobne tendencje przejawiałby model językowy, to czy nadal ufaliby Państwo jego rekomendacjom?

John J. Horton z Massachusetts Institute of Technology postanowił sprawdzić, jak modele językowe z rodziny GPT-3 – czyli te, na których oparty jest m.in. słynny ChatGPT – radzą sobie z podejmowaniem decyzji ekonomicznych. Czy ich „sposób myślenia” przypomina ludzkie wybory? Aby to zweryfikować, badacz przeprowadził serię klasycznych eksperymentów behawioralnych, które od lat stosuje się do analizy zachowań ludzi. Tym razem obiektami badań były modele językowe. Horton mógł więc porównać reakcje sztucznej inteligencji z dobrze udokumentowanymi wcześniej decyzjami podejmowanymi przez człowieka.

Jeden z eksperymentów bazował na klasycznym badaniu Kahnemana i współpracowników (1986), które dotyczyło postrzegania sprawiedliwości w decyzjach rynkowych. Uczestnicy – w oryginale ludzie, a w tym przypadku model językowy – zostali poproszeni o ocenę sytuacji, w której dzień po burzy śnieżnej sklep podnosi cenę łopat do śniegu z 15 do 20 dol. Mogli ocenić takie działanie jako 1) całkowicie sprawiedliwe, 2) akceptowalne, 3) niesprawiedliwe, 4) bardzo niesprawiedliwe.

W oryginalnym badaniu 82 proc. respondentów oceniło podwyżkę jako „niesprawiedliwą” lub „bardzo niesprawiedliwą”. Horton rozszerzył eksperyment o badanie, jakie czynniki wpływają na ocenę decyzji sklepu. Zmieniano wysokość podwyżki (do 16, 20, 40 lub 100 dol.), sposób jej przedstawienia („podnosi cenę” lub „zmienia cenę”) oraz instrukcje odnośnie do wartości, jakie model ma przyjąć przy odpowiedzi (socjalistyczne, lewicowe, liberalne, umiarkowane, konserwatywne, libertariańskie). Niemal wszystkie modele uznały podwyżkę za niesprawiedliwą – niezależnie od wysokości. Wyjątek stanowiły modele, którym nadano wartości libertariańskie oraz umiarkowane. Te dopuszczały możliwość uznania niewielkich podwyżek (do 16 i 20 dol.) za akceptowalne, jednak przy większych kwotach również klasyfikowały decyzję sklepu jako niesprawiedliwą.

W kolejnej serii – opartej na oryginalnym eksperymencie Charnessa i Rabina (2002) – badana osoba rozdziela pieniądze między siebie i innego uczestnika. Jest to wariant tzw. gry dyktator. Wersja użyta w tym badaniu sprawdzała m.in. preferencje rozdzielającego odnośnie do tego, jaki podział uważa za sprawiedliwy, a także na ile jest w stanie zaakceptować mniej sprawiedliwy podział w zamian za zwiększenie całkowitej puli. Badania na ludziach pokazują, że wiele osób skłania się ku bardziej egalitarnym podziałom, nawet jeśli oznacza to dla nich mniejszy zysk. Co więcej, ich decyzje mogą się znacząco różnić w zależności od indywidualnych cech.

Okazało się, że najbardziej zaawansowany model językowy (text-davinci-003) wybierał alokację efektywną, czyli rozwiązanie maksymalizujące całkowity zysk obu stron. Mniej zaawansowane modele zawsze dążyły natomiast do maksymalizacji własnego zysku, co określa się jako alokację samolubną.

Najbardziej zaawansowany model językowy wybierał rozwiązanie maksymalizujące całkowity zysk obu stron. Mniej zaawansowane modele zawsze dążyły natomiast do maksymalizacji własnego zysku

W kolejnej fazie eksperymentu modelom przedstawiono dodatkowe instrukcje – np. „obchodzi cię tylko sprawiedliwość między graczami” (awersja do nierówności) lub „obchodzi cię tylko maksymalizacja łącznego zysku”. Co ciekawe, text-davinci-003 potrafił dostosować swoje decyzje do nadanych mu preferencji, podczas gdy prostsze modele pozostawały przy tych samych decyzjach, niezależnie od instrukcji.

Mówienie o posiadaniu poglądów czy myśleniu w kontekście modeli językowych jest oczywiście jedynie metaforą. W rzeczywistości nie myślą one ani nie podejmują decyzji tak, jak robią to ludzie. Odpowiedzi generowane przez sztuczną inteligencję wynikają przede wszystkim z danych, na których została wytrenowana. Innymi słowy, modele generują tekst, który jest jedynie pewnym odbiciem wzorców zawartych w dostępnych im informacjach. Czy to oznacza, że mogą odzwierciedlać uprzedzenia i ograniczenia zawarte w danych? Tak, i dlatego tak ważne jest, by korzystać z tej technologii świadomie. ©Ⓟ

Autor jest ekonomistą GRAPE