Coraz więcej decyzji w naszym świecie podejmują algorytmy. To one oceniają, czy dostaniemy kredyt, czy i jakie reklamy zobaczymy. A nawet rozstrzygają drobne sprawy sądowe – w Chinach działa już system, który w określonych przypadkach odgrywa rolę „automatycznego sędziego”. Skuteczność? Aż 98 proc. spraw rozstrzyganych bez odwołań. Kusząca wizja, prawda? Maszyna, która nie ma złego dnia, nie kieruje się sympatią ani uprzedzeniami. Ale czy na pewno? Bo wraz z rosnącą automatyzacją pojawia się pytanie stare jak świat: czy decyzje podejmowane na podstawie danych – a właściwie przez ludzi, którzy te informacje interpretują i tworzą modele – mogą być naprawdę sprawiedliwe?

Sprawiedliwość według algorytmów

To, co jeszcze dekadę temu było filozoficznym dylematem, dziś staje się praktycznym problemem inżynieryjnym. Sprawiedliwość można bowiem, przynajmniej częściowo, zmierzyć. Zespół badaczy z Uniwersytetu Columbia, pod kierunkiem Drago Plecko, zaproponował Standardowy Model Sprawiedliwości. Brzmi groźnie, niemal jak model fizyczny opisujący cząstki elementarne, lecz jego sens jest zaskakująco prosty: chodzi o to, by zrozumieć, dlaczego pewne nierówności się pojawiają. Model zastosowali do ochrony zdrowia: przeanalizowali ponad 1 mln przypadków przyjęć na oddziały intensywnej terapii w Australii i Stanach Zjednoczonych. Celem było sprawdzenie, czy rasa lub pochodzenie etniczne pacjentów wpływa na ich szanse przeżycia.

Na pierwszy rzut oka wyniki wydawały się sprzeczne. W Australii pacjenci należący do mniejszości mieli o 0,4 proc. wyższe ryzyko zgonu po przyjęciu na OIOM. W USA – odwrotnie: mniejszości miały o 0,8 proc. większe szanse na przeżycie. Gdyby zatrzymać się na tym poziomie, łatwo byłoby wyciągnąć wniosek, że w Australii system dyskryminuje, a w USA – premiuje mniejszości.

Uprzedzenia wpisane w system

Zamiast patrzeć na suche liczby, Plecko i jego zespół zapytali, jakie mechanizmy kryją się za różnicami. Wpływ pochodzenia etnicznego na wynik leczenia można rozłożyć na kilka ścieżek przyczynowych. Pierwsza z nich to efekt mylący: sytuacja, gdy rasa powiązana jest z innymi czynnikami, jak wiek, płeć czy status społeczno-ekonomiczny, które same w sobie wpływają na przeżywalność. Druga ścieżka to efekt pośredni: pochodzenie może oddziaływać na przewlekły stan zdrowia, diagnozę przy przyjęciu i nasilenie choroby, a więc pośrednio wpływać na ryzyko zgonu. Trzecia to efekt bezpośredni: ten, który pozostaje, gdy czynniki przeżywalności ze ścieżki pierwszej i drugiej są porównywalne. W sprawiedliwym świecie ten efekt powinien być zerowy.

Wyniki? W Australii różnica w śmiertelności między grupami etnicznymi wynikała głównie z tego, że pacjenci z mniejszości etnicznych byli przyjmowani w młodszym wieku i mieli inny profil zdrowotny. W USA widoczny był bezpośredni, pozornie korzystny wpływ przynależności do mniejszości – pacjenci ci mieli nieco większe szanse na przeżycie, ale osoby z mniejszości trafiały częściej na OIOM z mniej poważnymi przypadkami, bo wcześniej miały utrudniony dostęp do podstawowej opieki zdrowotnej. Innymi słowy: to, że częściej przeżywały, nie wynikało z lepszej opieki na intensywnej terapii, lecz z tego, że w ogóle częściej na nią trafiały z powodów, którym można było zapobiec.

Czasem to, co wydaje się nierównością, jest skutkiem losu, historii, systemu lub uprzedzeń zakodowanych w danych, a czasem wyłącznie iluzją, choć niby popartą danymi. Pozornie pozytywny wynik – niższa śmiertelność – okazał się maskować głębokie problemy systemowe. Model Plecki pozwala te paradoksy rozbroić, pokazując, gdzie przebiega granica między rzeczywistą równością a złudzeniem sprawiedliwości. ©Ⓟ

Autor jest ekonomistą GRAPE