AI Act zakazuje ośmiu kategorii zastosowań sztucznej inteligencji uznanych za niedopuszczalne ze względu na ryzyko dla praw podstawowych, bezpieczeństwa i autonomii człowieka. Zakazy obowiązują od 2 lutego 2025 r. Obejmują m.in. szkodliwą manipulację, scoring społeczny, wybrane formy predykcyjnego typowania przestępczości, masowe budowanie baz rozpoznawania twarzy, rozpoznawanie emocji w pracy i szkole oraz część zastosowań biometrii.
Najważniejsza zmiana polega na tym, że część AI Act nie czeka na pełne wejście w życie pozostałych obowiązków. Zakazane praktyki AI zaczęły obowiązywać 2 lutego 2025 r. Oznacza to, że firma, urząd, szkoła, bank, platforma internetowa lub inna organizacja nie powinny wdrażać systemu tylko dlatego, że dostawca przedstawia go jako innowacyjny, oszczędny albo skuteczny. Najpierw trzeba sprawdzić, czy jego cel i sposób działania nie mieszczą się w katalogu zakazów.
Zakaz dotyczy nie tylko dostawców technologii. Obejmuje także wprowadzanie systemów do obrotu, oddawanie ich do użytku i korzystanie z nich. Jeżeli urząd kupi narzędzie do klasyfikowania mieszkańców, firma wdroży system oceny zachowań pracowników, a platforma zacznie budować bazę twarzy z internetu bez ukierunkowanego celu, odpowiedzialność może dotyczyć również podmiotu używającego systemu.
Komisja Europejska opublikowała wytyczne dotyczące zakazanych praktyk AI 4 lutego 2025 r. Mają one pomóc w jednolitym stosowaniu przepisów w całej Unii Europejskiej. Komisja podkreśla jednak, że wytyczne nie są wiążącą wykładnią prawa. Ostateczna interpretacja należy do Trybunału Sprawiedliwości Unii Europejskiej.
Manipulacja, wykorzystywanie słabości i scoring społeczny
Pierwsza grupa zakazów dotyczy systemów, które manipulują człowiekiem albo grupą osób w sposób mogący istotnie zniekształcić ich zachowanie i spowodować znaczną szkodę. Chodzi zarówno o techniki podprogowe, działające poza świadomością odbiorcy, jak i o celowo manipulacyjne lub wprowadzające w błąd mechanizmy. Nie każda personalizacja reklamy będzie zakazana, ale system zaprojektowany tak, by istotnie ograniczyć zdolność człowieka do podjęcia świadomej decyzji i doprowadzić do szkody, może wejść w obszar niedozwolony.
Drugi zakaz dotyczy wykorzystywania podatności osób ze względu na wiek, niepełnosprawność albo konkretną sytuację społeczną lub ekonomiczną. To istotne dla firm kierujących przekazy do dzieci, seniorów, osób zadłużonych, chorych, zależnych lub w trudnej sytuacji życiowej. AI nie może być używana do takiego profilowania i oddziaływania, które wykorzystuje słabszą pozycję odbiorcy i prowadzi albo może prowadzić do znacznej szkody.
Trzecia kategoria to scoring społeczny. Zakazane są systemy oceniające lub klasyfikujące osoby albo grupy przez pewien czas na podstawie zachowania społecznego lub znanych, przewidywanych bądź wywnioskowanych cech osobistych, jeżeli wynik prowadzi do niekorzystnego traktowania w kontekście niezwiązanym z pierwotnym zebraniem danych albo do traktowania nieuzasadnionego lub nieproporcjonalnego. To ważne dla administracji, usług publicznych, finansów, ubezpieczeń, mieszkalnictwa i platform cyfrowych.
Predykcyjne typowanie przestępców i bazy twarzy z internetu
AI Act zakazuje systemów służących do oceny lub przewidywania ryzyka popełnienia przestępstwa przez konkretną osobę wyłącznie na podstawie profilowania albo oceny cech osobowości. Nie oznacza to całkowitego zakazu analityki w organach ścigania, ale wyklucza automatyczne typowanie człowieka jako potencjalnego sprawcy na podstawie abstrakcyjnego profilu. Dopuszczalne może być natomiast użycie AI jako wsparcia ludzkiej oceny, jeżeli opiera się ona na obiektywnych i weryfikowalnych faktach bezpośrednio związanych z działalnością przestępczą.
Zakazane jest także tworzenie lub rozszerzanie baz rozpoznawania twarzy przez nieukierunkowane pobieranie obrazów twarzy z internetu albo nagrań monitoringu. To uderza w model budowania ogromnych baz biometrycznych przez masowe „zeskrobywanie” zdjęć bez związku z konkretnym, zgodnym z prawem celem. Dla firm oznacza to ryzyko przy projektach bezpieczeństwa, marketingu, analityki sklepowej, identyfikacji klientów i kontroli dostępu.
Rozpoznawanie emocji w pracy i edukacji
Szczególnie istotny zakaz dotyczy rozpoznawania emocji w miejscu pracy i w instytucjach edukacyjnych. Systemy analizujące twarz, głos, mimikę, postawę lub zachowanie w celu wnioskowania o emocjach pracownika albo ucznia nie mogą być stosowane w tych obszarach, chyba że chodzi o uzasadnione cele medyczne lub bezpieczeństwa.
Dla pracodawców oznacza to, że narzędzia mierzące zaangażowanie, stres, frustrację, lojalność, skupienie albo nastawienie pracownika na podstawie danych biometrycznych lub behawioralnych są obarczone bardzo wysokim ryzykiem prawnym. Nie wystarczy nazwać ich narzędziami HR, produktywności albo dobrostanu. Liczy się faktyczne działanie systemu i wnioski, które generuje o człowieku.
W szkołach podobne ryzyko dotyczy systemów analizujących uwagę ucznia, emocje podczas egzaminu, stres, podejrzane zachowanie albo reakcje na lekcji. AI Act wyraźnie traktuje edukację jako obszar, w którym technologia może silnie wpływać na prawa dziecka i młodego człowieka. Dlatego zakazane praktyki mają zatrzymać narzędzia, które wchodzą zbyt głęboko w ocenę psychiki i zachowania uczniów.
Biometria i rozpoznawanie osób w przestrzeni publicznej
AI Act zakazuje także systemów biometrycznej kategoryzacji, które na podstawie danych biometrycznych przypisują osoby do kategorii pozwalających wnioskować o rasie, poglądach politycznych, przynależności do związków zawodowych, przekonaniach religijnych lub filozoficznych, życiu seksualnym albo orientacji seksualnej. To jedna z najbardziej wrażliwych kategorii, bo dotyczy danych, które mogą prowadzić do dyskryminacji lub daleko idącej ingerencji w prywatność.
Osobne zasady dotyczą zdalnej identyfikacji biometrycznej w czasie rzeczywistym w publicznie dostępnych przestrzeniach na potrzeby organów ścigania. Co do zasady jest ona zakazana, ale AI Act przewiduje wąskie wyjątki, m.in. poszukiwanie ofiar uprowadzenia, handlu ludźmi lub wykorzystywania seksualnego, poszukiwanie osób zaginionych, zapobieganie konkretnemu, istotnemu i bezpośredniemu zagrożeniu życia lub bezpieczeństwa albo zagrożeniu atakiem terrorystycznym, a także lokalizację lub identyfikację osoby podejrzanej o poważne przestępstwa wskazane w przepisach. Użycie takiego systemu wymaga ograniczeń, zabezpieczeń i co do zasady uprzedniej zgody sądu albo niezależnego organu administracyjnego.
Nowe ryzyko dla firm i urzędów
Dla firm i urzędów najważniejszy wniosek jest praktyczny: przed wdrożeniem AI trzeba opisać cel systemu, dane wejściowe, grupę osób objętych działaniem, możliwe skutki i podstawę prawną. Zakaz może dotyczyć nie tylko technologii nazwanej „rozpoznawaniem twarzy” albo „scoringiem społecznym”. Ryzykowne będą także systemy, które formalnie służą marketingowi, bezpieczeństwu, HR lub obsłudze klienta, ale w praktyce klasyfikują ludzi, manipulują nimi, wykorzystują ich podatność albo wyciągają wnioski z biometrii.
Naruszenie zakazanych praktyk AI jest obciążone najwyższą sankcją w AI Act: do 35 mln euro albo do 7 proc. całkowitego rocznego światowego obrotu przedsiębiorstwa. To oznacza, że katalog zakazów powinien być pierwszym elementem audytu AI w każdej organizacji. Dopiero po wykluczeniu praktyk niedopuszczalnych można analizować, czy system jest wysokiego ryzyka, czy podlega obowiązkom przejrzystości, czy mieści się w kategorii niskiego lub minimalnego ryzyka.
Źródła: Rozporządzenie Parlamentu Europejskiego i Rady UE 2024/1689, Komisja Europejska, AI Act Service Desk, wytyczne Komisji Europejskiej dotyczące zakazanych praktyk AI.
Materiał chroniony prawem autorskim - wszelkie prawa zastrzeżone.
Dalsze rozpowszechnianie artykułu za zgodą wydawcy INFOR PL S.A. Kup licencję.
Wpisz adres e-mail wybranej osoby, a my wyślemy jej bezpłatny dostęp do tego artykułu