Pracownik nie może tylko potwierdzać decyzji AI. Nowe zasady są konkretne

To oznacza, że pracownik siedzący przed ekranem i bezrefleksyjnie klikający „akceptuję” nie musi spełniać wymogu realnego nadzoru. Problem jest szczególnie istotny tam, gdzie AI pomaga oceniać ludzi, dostęp do usług lub inne sprawy mające poważne konsekwencje.

Nadzór człowieka nad AI jako realny obowiązek

Artykuł 14 AI Act ustanawia wymóg nadzoru człowieka nad systemami AI wysokiego ryzyka. System ma być zaprojektowany i rozwijany tak, aby podczas jego używania mógł być skutecznie kontrolowany przez człowieka.

Celem jest ograniczenie ryzyka dla zdrowia, bezpieczeństwa i praw podstawowych. Nadzór ma działać również wtedy, gdy system jest wykorzystywany zgodnie z przeznaczeniem, ale mimo innych zabezpieczeń nadal może powodować negatywne skutki.

Nie istnieje jeden model nadzoru właściwy dla każdego narzędzia. Zakres kontroli powinien odpowiadać poziomowi ryzyka, autonomii systemu i kontekstowi użycia. Inne zabezpieczenia będą potrzebne przy narzędziu wspierającym prostą czynność techniczną, a inne przy systemie wpływającym na decyzje dotyczące zatrudnienia, dostępu do edukacji lub podstawowych usług.

Kliknięcie „zatwierdź” bez analizy wyniku AI

Największym zagrożeniem jest nadzór pozorny. Formalnie decyzję może podejmować człowiek, ale w praktyce pracownik może automatycznie akceptować wynik wygenerowany przez system.

AI Act wprost zwraca uwagę na ryzyko nadmiernego polegania na wynikach AI. Rozporządzenie wymaga, aby osoby odpowiedzialne za nadzór były świadome tzw. automation bias, czyli skłonności do automatycznego ufania rekomendacji systemu tylko dlatego, że została wygenerowana przez technologię.

Problem może pojawić się szczególnie wtedy, gdy pracownik otrzymuje setki rekomendacji dziennie, ma niewiele czasu na każdą sprawę i jest rozliczany z szybkości działania. W takim modelu przycisk „zatwierdź” łatwo staje się formalnością.

Sama obecność człowieka w procesie nie gwarantuje więc zgodności z AI Act. Znaczenie ma to, czy może on rzeczywiście ocenić rezultat i czy ma warunki do samodzielnego podjęcia decyzji.

Osoba nadzorująca AI z prawem do sprzeciwu

AI Act wymaga, aby człowiek odpowiedzialny za nadzór mógł właściwie rozumieć możliwości i ograniczenia systemu. Powinien monitorować jego działanie oraz wykrywać anomalie, nieprawidłowości i nieoczekiwane wyniki.

Musi również potrafić prawidłowo interpretować rezultat działania AI. Nie chodzi o konieczność poznania każdego szczegółu technicznego modelu. Osoba podejmująca decyzję powinna jednak rozumieć znaczenie wyniku, ograniczenia narzędzia i okoliczności, w których rekomendacja może być niewiarygodna.

Najważniejszy element nadzoru dotyczy uprawnień. Człowiek ma mieć możliwość zdecydowania, że system w danej sytuacji nie zostanie użyty. Powinien móc zignorować jego wynik, zastąpić go własną oceną lub odwrócić decyzję opartą na rekomendacji AI.

W odpowiednich przypadkach osoba nadzorująca powinna także móc ingerować w działanie systemu albo zatrzymać go za pomocą mechanizmu pozwalającego doprowadzić rozwiązanie do bezpiecznego stanu.

Kompetencje i uprawnienia zamiast fikcyjnego nadzoru

Obowiązki nie dotyczą wyłącznie projektantów systemu. Artykuł 26 AI Act nakłada konkretne wymagania również na podmioty stosujące systemy wysokiego ryzyka.

Firma lub instytucja ma powierzyć nadzór osobom posiadającym niezbędne kompetencje, szkolenie i uprawnienia. Muszą one także otrzymać konieczne wsparcie.

To ważne rozróżnienie. Pracownik może być odpowiednio przeszkolony, ale jednocześnie nie mieć prawa do zakwestionowania wyniku systemu. Może też formalnie posiadać takie prawo, lecz działać w organizacji, która w praktyce premiuje bezwarunkowe stosowanie się do rekomendacji AI.

Realny nadzór wymaga więc nie tylko instrukcji obsługi. Firma musi zorganizować proces w sposób pozwalający pracownikowi powiedzieć „nie”, zażądać dodatkowej weryfikacji i zatrzymać procedurę bez obawy, że każde odstępstwo od wyniku systemu zostanie uznane za błąd.

Ryzyko automatycznego zaufania do rekomendacji AI

Im częściej system daje poprawne wyniki, tym większe może być ryzyko bezrefleksyjnego zaufania. Pracownik, który przez wiele tygodni nie wykrył poważnego błędu, może z czasem przestać analizować kolejne rekomendacje.

AI Act wymaga, aby ryzyko takiego zachowania było brane pod uwagę. Znaczenie może mieć sposób prezentowania wyników, dostępność informacji o ograniczeniach systemu, możliwość sprawdzenia podstaw rekomendacji i organizacja pracy człowieka.

Nadzór może być iluzoryczny, gdy operator otrzymuje wyłącznie końcowy komunikat bez informacji pozwalających ocenić jego wiarygodność. Podobny problem powstaje wtedy, gdy liczba spraw uniemożliwia rzeczywistą analizę każdej decyzji.

Dlatego systemy wysokiego ryzyka mają działać w sposób wystarczająco przejrzysty, aby podmiot stosujący mógł interpretować ich wyniki i właściwie z nich korzystać. Dostawca ma również przekazywać zrozumiałe informacje dotyczące między innymi możliwości, ograniczeń oraz środków nadzoru człowieka.

Odpowiedzialność firmy za organizację pracy z AI

Przedsiębiorstwo nie powinno ograniczać wdrożenia AI do zakupu licencji i wyznaczenia pracownika, który będzie akceptował wyniki. Konieczne może być ustalenie, kto nadzoruje system, jakie ma kompetencje i w jakich sytuacjach musi odrzucić lub dodatkowo zweryfikować rekomendację.

Znaczenie mają również procedury eskalacji. Pracownik powinien wiedzieć, co zrobić po wykryciu powtarzających się błędów, nietypowych rezultatów lub sytuacji, w której system zaczyna zachowywać się inaczej niż wcześniej.

Firma musi też ustalić, czy osoba odpowiedzialna za nadzór ma realny dostęp do informacji potrzebnych do kontroli. Formalna odpowiedzialność bez narzędzi, czasu i uprawnień może nie wystarczyć.

W wielu organizacjach najtrudniejsza będzie więc nie sama technologia, lecz przebudowa procesu decyzyjnego. AI może przedstawiać rekomendację, ale człowiek nie powinien stawać się jedynie wykonawcą poleceń systemu.

Źródła

• Rozporządzenie Parlamentu Europejskiego i Rady UE 2024/1689, art. 14 dotyczący nadzoru człowieka.
• AI Act Service Desk Komisji Europejskiej, art. 26 dotyczący obowiązków podmiotów stosujących systemy wysokiego ryzyka.
• AI Act Service Desk Komisji Europejskiej, art. 13 dotyczący przejrzystości i informacji dla podmiotów stosujących AI.
• Komisja Europejska, materiały dotyczące wymogów i klasyfikacji systemów AI wysokiego ryzyka.
• Rada Unii Europejskiej, ostateczne zatwierdzenie zmienionego harmonogramu AI Act w ramach AI Omnibus.