Nie każdy błąd sztucznej inteligencji będzie incydentem wymagającym zgłoszenia organom. AI Act wyznacza jednak granicę, po której problem nie może zostać potraktowany wyłącznie jako wewnętrzna awaria techniczna. Jeżeli działanie lub wadliwe funkcjonowanie systemu AI prowadzi bezpośrednio albo pośrednio do śmierci, poważnego uszczerbku na zdrowiu, poważnego naruszenia praw podstawowych, znacznej szkody w mieniu lub środowisku albo poważnego i nieodwracalnego zakłócenia infrastruktury krytycznej, uruchamiany jest szczególny mechanizm raportowania.
Podstawowy obowiązek zgłaszania poważnych incydentów spoczywa na dostawcach systemów AI wysokiego ryzyka. Firma korzystająca z takiego rozwiązania również nie może jednak zignorować niebezpiecznego zdarzenia. AI Act wymaga od podmiotów stosujących systemy monitorowania ich działania oraz przekazywania dostawcy i odpowiednim podmiotom informacji o ryzyku lub poważnym incydencie.
Poważny incydent AI z dokładną definicją
AI Act nie uznaje każdego błędnego wyniku za poważny incydent. Rozporządzenie określa cztery grupy skutków.
Pierwsza obejmuje śmierć człowieka lub poważny uszczerbek na zdrowiu. Druga dotyczy poważnego i nieodwracalnego zakłócenia zarządzania infrastrukturą krytyczną albo jej funkcjonowania.
Trzecia grupa obejmuje naruszenie obowiązków wynikających z prawa Unii Europejskiej, które mają chronić prawa podstawowe. Czwarta dotyczy poważnych szkód w mieniu lub środowisku.
Znaczenie ma również to, że skutek może powstać bezpośrednio lub pośrednio. Niebezpieczne zdarzenie nie musi więc polegać na tym, że system sam steruje urządzeniem i natychmiast powoduje wypadek. Problem może wynikać także z rekomendacji lub wyniku, który uruchamia dalszy ciąg decyzji.
Przykładowo błędne działanie AI może zostać wykorzystane przez człowieka jako podstawa działania, które prowadzi do poważnej szkody. W takim przypadku konieczna jest ocena związku pomiędzy systemem a skutkiem zdarzenia.
Dostawca systemu AI z obowiązkiem zgłoszenia
Artykuł 73 AI Act nakłada obowiązek zgłaszania poważnych incydentów na dostawców systemów AI wysokiego ryzyka wprowadzonych na rynek Unii.
Zgłoszenie powinno trafić do organów nadzoru rynku właściwych dla państw członkowskich, w których doszło do incydentu. Co do zasady należy go dokonać natychmiast po ustaleniu związku przyczynowego między systemem AI a poważnym incydentem lub po stwierdzeniu, że istnienie takiego związku jest racjonalnie prawdopodobne.
Rozporządzenie ustanawia również maksymalny termin 15 dni od dnia, w którym dostawca lub właściwa osoba dowiedzieli się o poważnym incydencie.
Termin jest jednak krótszy w szczególnie poważnych sytuacjach. Jeżeli doszło do powszechnego naruszenia lub poważnego incydentu w rozumieniu AI Act, raport powinien zostać przekazany niezwłocznie, nie później niż w ciągu dwóch dni od uzyskania wiedzy o zdarzeniu.
W przypadku śmierci człowieka dostawca ma zgłosić zdarzenie natychmiast po ustaleniu lub podejrzeniu związku między systemem wysokiego ryzyka a incydentem, nie później niż w ciągu 10 dni od dnia uzyskania informacji.
Niepełne zgłoszenie zamiast czekania na cały raport
Firma nie zawsze będzie znała wszystkie okoliczności incydentu w chwili jego wykrycia. Ustalenie przyczyny awarii AI może wymagać analizy logów, danych wejściowych, aktualizacji, zachowania użytkowników i współpracy z innymi dostawcami.
AI Act nie pozwala jednak po prostu czekać do zakończenia wielotygodniowego dochodzenia. Przepisy przewidują możliwość przekazywania raportu etapami.
Dostawca może najpierw dokonać zgłoszenia, a następnie przesyłać raporty uzupełniające. Ostateczny raport ma zostać przekazany po ustaleniu wszystkich istotnych informacji.
Takie rozwiązanie ma ograniczyć ryzyko, że organ dowie się o niebezpiecznym zdarzeniu dopiero po zakończeniu wewnętrznej analizy. W poważnych przypadkach czas reakcji może mieć bezpośrednie znaczenie dla innych użytkowników tego samego systemu.
Firma korzystająca z AI też musi zareagować
Obowiązek formalnego zgłoszenia z art. 73 dotyczy dostawcy, ale podmiot stosujący system wysokiego ryzyka ma własne obowiązki.
Zgodnie z art. 26 firma powinna monitorować działanie systemu na podstawie instrukcji użytkowania. Jeżeli ma powody uważać, że korzystanie z AI zgodnie z instrukcją może stwarzać ryzyko dla zdrowia, bezpieczeństwa lub praw podstawowych, powinna bez zbędnej zwłoki poinformować dostawcę lub dystrybutora oraz właściwy organ nadzoru rynku.
Podobny obowiązek informacyjny pojawia się po wykryciu poważnego incydentu. Firma nie może więc poprzestać na wyłączeniu narzędzia, usunięciu błędnego wyniku i wznowieniu pracy po restarcie.
W praktyce przedsiębiorstwo powinno mieć procedurę pozwalającą ustalić, kto ocenia zdarzenie, kto kontaktuje się z dostawcą, kto zabezpiecza dane i logi oraz kto podejmuje decyzję o wstrzymaniu korzystania z systemu.
Logi i dane potrzebne po awarii AI
Analiza incydentu jest znacznie trudniejsza, gdy organizacja nie potrafi odtworzyć działania systemu. Dlatego AI Act przewiduje wymogi dotyczące rejestrowania zdarzeń i monitorowania systemów wysokiego ryzyka.
Firma powinna wiedzieć, jaka wersja systemu działała w chwili zdarzenia, jakie dane zostały wprowadzone, jaki wynik został wygenerowany i jak człowiek na niego zareagował. Znaczenie może mieć również informacja o wcześniejszych podobnych problemach.
W przypadku systemów nadal uczących się po wdrożeniu szczególne znaczenie ma monitoring zmian zachowania. Pojedynczy błąd może być przypadkiem, ale seria nietypowych rezultatów może sygnalizować pogorszenie jakości systemu lub nowe ryzyko.
Dostawcy systemów wysokiego ryzyka mają prowadzić monitoring po wprowadzeniu produktu na rynek. Jego celem jest zbieranie i analizowanie doświadczeń z rzeczywistego wykorzystania AI oraz identyfikowanie potrzeby działań naprawczych lub zapobiegawczych.
Zgłoszenie incydentu bez przyznania odpowiedzialności
AI Act przewiduje ważne zabezpieczenie. Zgłoszenie poważnego incydentu nie powinno samo w sobie być traktowane jako przyznanie odpowiedzialności za zdarzenie.
Ma to zachęcać do szybkiego raportowania bez obawy, że samo zawiadomienie organu zostanie automatycznie uznane za dowód winy.
Nie zwalnia to jednak dostawcy z obowiązku wyjaśnienia zdarzenia. Po otrzymaniu informacji o poważnym incydencie ma on niezwłocznie przeprowadzić niezbędne analizy dotyczące systemu i samego incydentu oraz podjąć działania naprawcze.
Właśnie dlatego firmy wdrażające AI powinny przygotować procedury przed wystąpieniem pierwszego poważnego zdarzenia. W chwili incydentu może nie być czasu na ustalanie od podstaw, kto odpowiada za kontakt z dostawcą, zabezpieczenie dowodów i ocenę skutków.
Materiał chroniony prawem autorskim - wszelkie prawa zastrzeżone.
Dalsze rozpowszechnianie artykułu za zgodą wydawcy INFOR PL S.A. Kup licencję.
Wpisz adres e-mail wybranej osoby, a my wyślemy jej bezpłatny dostęp do tego artykułu