Nauczyciel może korzystać z narzędzi AI pomocniczo, ale automatyczne ocenianie uczniów przez algorytm wchodzi w obszar wysokiego ryzyka. AI Act wskazuje edukację jako jedną z dziedzin, w których sztuczna inteligencja może wpływać na dostęp do kształcenia, ocenę efektów uczenia się i dalszą ścieżkę zawodową. Oznacza to obowiązki dotyczące jakości danych, nadzoru człowieka, przejrzystości, dokumentacji i ochrony praw ucznia.
AI Act nie zakazuje nauczycielom korzystania ze sztucznej inteligencji. Nie każde użycie algorytmu w szkole będzie też systemem wysokiego ryzyka. Inaczej należy ocenić narzędzie do porządkowania notatek, tworzenia konspektu lekcji lub przygotowania przykładowych zadań, a inaczej system, który ocenia prace uczniów, kwalifikuje ich do programu, przewiduje wyniki albo wykrywa niedozwolone zachowania podczas egzaminu.
Za wysokiego ryzyka uznawane są m.in. systemy AI wykorzystywane w edukacji i szkoleniu zawodowym do decydowania o dostępie, przyjęciu lub przydzieleniu do instytucji edukacyjnych, oceny efektów uczenia się, oceny odpowiedniego poziomu kształcenia oraz monitorowania i wykrywania zakazanych zachowań uczniów podczas testów. Komisja Europejska podaje jako przykład rozwiązania edukacyjne mogące determinować dostęp do kształcenia i przebieg życia zawodowego, w tym scoring egzaminów.
W praktyce nauczyciel, który używa AI wyłącznie jako pomocy redakcyjnej, nie wdraża jeszcze automatycznego systemu oceniania. Jeżeli jednak algorytm analizuje prace uczniów, wskazuje ocenę, klasyfikuje odpowiedzi, wykrywa plagiat, porównuje styl pisania albo typuje uczniów do dodatkowej kontroli, szkoła powinna traktować takie narzędzie jako obszar wymagający szczególnej ostrożności.
Sprawdzanie prac uczniów przez algorytm i rola nauczyciela
Najważniejsza granica dotyczy wpływu AI na końcową ocenę ucznia. Algorytm może wspierać nauczyciela, np. wskazać fragmenty wymagające uwagi, uporządkować kryteria, pomóc wychwycić niespójności lub zasugerować obszary do sprawdzenia. Nie powinien jednak zastępować nauczyciela w odpowiedzialnej decyzji pedagogicznej, zwłaszcza gdy wynik wpływa na ocenę, promocję, rekrutację, stypendium lub dalszy tok nauki.
AI Act wymaga, aby systemy wysokiego ryzyka podlegały skutecznemu nadzorowi człowieka. Oznacza to nie tylko formalne kliknięcie „zatwierdź”, ale realną możliwość zrozumienia działania systemu, zakwestionowania wyniku i podjęcia własnej decyzji. Nauczyciel nie może stać się wykonawcą automatycznego werdyktu, którego nie potrafi wyjaśnić uczniowi, rodzicowi ani dyrektorowi.
Problemem jest także ryzyko błędów. Systemy generatywne mogą tworzyć przekonujące, ale nieprawdziwe uzasadnienia. Narzędzia antyplagiatowe i detektory tekstów AI mogą błędnie wskazywać autorstwo pracy. Algorytmy oceniające styl mogą gorzej traktować uczniów piszących niestandardowo, uczniów ze specjalnymi potrzebami edukacyjnymi, obcokrajowców lub osoby używające mniej typowych konstrukcji językowych. W edukacji taki błąd nie jest techniczną niedogodnością, lecz może prowadzić do niesprawiedliwej oceny.
Obowiązki szkoły przy korzystaniu z AI
Szkoła, organ prowadzący albo dostawca narzędzia powinni ustalić, do czego system jest używany, kto odpowiada za jego wybór, jakie dane są przetwarzane, czy system wpływa na ocenę ucznia i czy wynik działania AI jest wiążący. Jeżeli narzędzie mieści się w kategorii wysokiego ryzyka, konieczne będą obowiązki związane z dokumentacją, zarządzaniem ryzykiem, jakością danych, rejestrowaniem działania systemu, przejrzystością wobec użytkowników i nadzorem człowieka.
To szczególnie ważne w przypadku narzędzi kupowanych jako gotowe aplikacje edukacyjne. Szkoła może nie mieć wpływu na model, dane treningowe i sposób działania systemu, ale odpowiada za sposób jego użycia wobec uczniów. Jeżeli dostawca deklaruje, że narzędzie służy do oceniania, klasyfikowania albo przewidywania wyników uczniów, szkoła powinna żądać dokumentacji, informacji o zgodności z AI Act, zasad działania, ograniczeń systemu i procedur odwoławczych.
Nie można też pominąć RODO. Prace uczniów, oceny, informacje o trudnościach, zachowaniu, specjalnych potrzebach edukacyjnych czy wynikach egzaminacyjnych są danymi osobowymi, a czasem informacjami szczególnie wrażliwymi w praktyce edukacyjnej. Wysyłanie ich do zewnętrznych narzędzi AI bez podstawy prawnej, umowy, analizy ryzyka i kontroli nad dalszym przetwarzaniem może naruszać przepisy o ochronie danych niezależnie od AI Act.
Detektory AI i ryzyko fałszywych oskarżeń
Osobnym problemem są detektory tekstów generowanych przez AI. W szkołach mogą być używane do sprawdzania, czy uczeń napisał pracę samodzielnie. Takie narzędzia nie dają jednak pewności. Ich wynik powinien być traktowany jako sygnał do dalszej analizy, a nie jako dowód rozstrzygający. Automatyczne uznanie pracy za niesamodzielną wyłącznie na podstawie wskazania algorytmu może prowadzić do naruszenia praw ucznia.
Bezpieczna procedura powinna obejmować rozmowę z uczniem, analizę procesu powstawania pracy, porównanie z wcześniejszymi tekstami, możliwość wyjaśnienia oraz decyzję nauczyciela opartą na kryteriach dydaktycznych. Jeżeli szkoła korzysta z detektora, uczniowie i rodzice powinni wiedzieć, że takie narzędzie jest używane, jaki ma cel, jakie są jego ograniczenia i kto podejmuje ostateczną decyzję.
AI Act zakazuje także rozpoznawania emocji w instytucjach edukacyjnych, z wyjątkiem sytuacji uzasadnionych względami medycznymi lub bezpieczeństwa. To ważne dla systemów analizujących mimikę, głos, ruch oczu, uwagę lub stres ucznia podczas lekcji albo egzaminu. Szkoła nie powinna wdrażać technologii, które oceniają emocje ucznia jako element kontroli zachowania, zaangażowania lub uczciwości egzaminacyjnej.
Nauczyciel, uczeń i przejrzystość korzystania z AI
W edukacji sama legalność systemu nie wystarczy. Potrzebna jest przejrzysta informacja dla ucznia i rodzica. Jeżeli AI wspiera ocenianie, sprawdzanie prac, kwalifikowanie do programu albo wykrywanie niedozwolonych zachowań, uczniowie powinni wiedzieć, że taki system jest używany. Powinni też mieć możliwość uzyskania wyjaśnienia, zakwestionowania wyniku i kontaktu z osobą odpowiedzialną.
AI może odciążyć nauczyciela, ale nie może przejąć odpowiedzialności pedagogicznej. Najbezpieczniejszy model to użycie pomocnicze: algorytm wskazuje, porządkuje, porównuje albo wspiera analizę, a nauczyciel samodzielnie ocenia pracę według znanych kryteriów. Im bardziej wynik AI wpływa na ocenę, rekrutację lub dalszą ścieżkę ucznia, tym większe obowiązki prawne i organizacyjne.
Źródła: Rozporządzenie Parlamentu Europejskiego i Rady UE 2024/1689, Komisja Europejska, AI Act Service Desk, wytyczne dotyczące systemów wysokiego ryzyka, wytyczne Komisji Europejskiej dotyczące zakazanych praktyk AI.
Materiał chroniony prawem autorskim - wszelkie prawa zastrzeżone.
Dalsze rozpowszechnianie artykułu za zgodą wydawcy INFOR PL S.A. Kup licencję.
Wpisz adres e-mail wybranej osoby, a my wyślemy jej bezpłatny dostęp do tego artykułu