AI Act poziom 4 – jakie obowiązki ma organizacja korzystająca z AI?

Wprowadzenie do AI Act i klasyfikacji systemów AI

Unijne rozporządzenie Artificial Intelligence Act (AI Act) to przełomowa regulacja, której celem jest zapewnienie bezpiecznego i odpowiedzialnego rozwoju oraz stosowania sztucznej inteligencji na terenie Unii Europejskiej. AI Act wprowadza ramy prawne, których zadaniem jest zrównoważenie innowacyjności i ochrony praw podstawowych obywateli, w tym prywatności, bezpieczeństwa i niedyskryminacji.

Jednym z kluczowych elementów AI Act jest klasyfikacja systemów AI według poziomu ryzyka, jakie mogą one stwarzać dla ludzi i społeczeństwa. Podejście to opiera się na zasadzie proporcjonalności – im większe ryzyko, tym bardziej rygorystyczne wymagania stawiane są organizacjom wdrażającym dany system.

AI Act wyróżnia cztery główne kategorie ryzyka:

• Niedopuszczalne ryzyko – systemy całkowicie zakazane, np. manipulujące zachowaniami użytkowników w sposób podprogowy lub wykorzystujące ocenę społeczną.
• Wysokie ryzyko – systemy, które mogą znacząco wpłynąć na prawa lub bezpieczeństwo obywateli, takie jak systemy rekrutacyjne czy oceny kredytowej. To właśnie tej kategorii – poziomowi 4 – poświęcona jest szczególna uwaga w regulacjach.
• Ograniczone ryzyko – systemy wymagające zapewnienia przejrzystości, np. chatboty czy generatory treści, które muszą informować użytkownika, że ma do czynienia z AI.
• Minimalne lub żadne ryzyko – systemy niepodlegające szczególnym wymogom, jak np. filtry spamu czy rekomendacje produktów w e-commerce.

Rozróżnienie tych poziomów pozwala lepiej zrozumieć, jakie obowiązki prawne spoczywają na organizacjach w zależności od rodzaju i zastosowania wdrażanego systemu AI. Szczególną uwagę regulacja poświęca systemom wysokiego ryzyka, które są najściślej kontrolowane i wymagają spełnienia szeregu szczegółowych obowiązków.

Charakterystyka systemów AI wysokiego ryzyka (poziom 4)

Systemy sztucznej inteligencji zaklasyfikowane jako wysokiego ryzyka (poziom 4) w ramach unijnego rozporządzenia AI Act obejmują rozwiązania, które mogą znacząco wpłynąć na prawa podstawowe, bezpieczeństwo czy dobrostan osób fizycznych. Dlatego też podlegają one szczegółowym wymogom regulacyjnym, mającym na celu zapewnienie ich bezpiecznego i etycznego funkcjonowania.

Systemy te są wykorzystywane w newralgicznych obszarach życia społecznego i gospodarczego. Przykładowe zastosowania obejmują:

• Infrastruktury krytyczne – np. zarządzanie ruchem kolejowym lub energetycznym, gdzie awaria systemu AI może prowadzić do poważnych zagrożeń.
• Edukację i zatrudnienie – np. systemy rekrutacji, oceny kandydatów czy przyznawania miejsc w szkołach, które mają wpływ na decyzje o życiu zawodowym i osobistym jednostek.
• Wymiar sprawiedliwości i egzekwowanie prawa – np. narzędzia wspierające ocenę ryzyka przestępczego czy przewidywanie recydywy.
• Zarządzanie świadczeniami społecznymi – np. automatyzacja decyzji o przyznaniu pomocy finansowej lub ubezpieczenia społecznego.

To, co odróżnia systemy wysokiego ryzyka od innych kategorii AI (np. niskiego lub minimalnego ryzyka), to możliwość wywarcia istotnego wpływu na prawa obywateli lub funkcjonowanie państwa. W związku z tym uznaje się je za wymagające szczególnego nadzoru i zgodności z szeregiem wymogów prawnych i technicznych. Kluczowe jest też to, że ich stosowanie – choć dozwolone – nie jest swobodne i wiąże się z konkretnymi obowiązkami po stronie organizacji wdrażających takie technologie. Ten artykuł powstał jako rozwinięcie jednego z najczęstszych tematów poruszanych podczas szkoleń Cognity.

Obowiązki organizacji przed wdrożeniem systemu AI wysokiego ryzyka

Zgodnie z rozporządzeniem AI Act, systemy sztucznej inteligencji zakwalifikowane jako wysokiego ryzyka (tzw. poziom 4) wiążą się z szeregiem obowiązków po stronie organizacji, jeszcze przed ich wdrożeniem do użytku. Etap ten ma kluczowe znaczenie dla zapewnienia zgodności z prawem i bezpieczeństwa użytkowników końcowych.

Wstępna ocena i klasyfikacja systemu AI

Na początku organizacja musi określić, czy planowany do użycia system AI rzeczywiście kwalifikuje się jako system wysokiego ryzyka. Klasyfikacja ta zależy m.in. od zastosowania systemu (np. w kontekście zatrudnienia, edukacji, infrastruktury krytycznej) oraz jego wpływu na prawa i bezpieczeństwo osób fizycznych. W przypadku zaklasyfikowania do poziomu 4, zastosowanie mają szczególne obowiązki regulacyjne.

Przygotowanie organizacyjne

Organizacja powinna odpowiednio przygotować swoje struktury i procesy do obsługi systemu wysokiego ryzyka. Obejmuje to m.in.:

• Wyznaczenie odpowiedzialnych zespołów ds. zgodności i nadzoru nad systemem AI.
• Szkolenie pracowników w zakresie zasad działania modelu, jego ograniczeń oraz przepisów wynikających z AI Act.
• Wdrożenie polityk wewnętrznych regulujących sposób projektowania, testowania i wdrażania systemów AI.

Ocena wpływu na prawa podstawowe

Jednym z kluczowych wymogów przedimplementacyjnych jest przeprowadzenie oceny wpływu planowanego systemu AI na prawa podstawowe użytkowników (ang. Fundamental Rights Impact Assessment – FRIA). Ocena ta powinna identyfikować potencjalne ryzyka związane z dyskryminacją, naruszeniem prywatności, brakiem przejrzystości czy wpływem na autonomię człowieka.

Przygotowanie danych i weryfikacja jakości

Na etapie przedwdrożeniowym należy zapewnić, że dane wykorzystywane do trenowania i testowania systemu AI są odpowiedniej jakości, kompletne, reprezentatywne i wolne od uprzedzeń. Ma to kluczowe znaczenie dla zapewnienia dokładności, bezpieczeństwa i niedyskryminującego działania modelu.

Porównanie obowiązków: systemy niskiego vs wysokiego ryzyka

Wszystkie te działania mają na celu nie tylko spełnienie wymogów regulacyjnych, ale również ograniczenie ryzyka nieprawidłowego działania systemów AI i negatywnych konsekwencji dla użytkowników. Organizacje zainteresowane pogłębieniem wiedzy i praktycznym przygotowaniem do wdrożenia AI zgodnie z przepisami mogą skorzystać z Kursu AI Act w praktyce – compliance, ryzyka i obowiązki.

Wymogi dotyczące oceny zgodności i dokumentacji technicznej

Systemy sztucznej inteligencji sklasyfikowane jako wysokiego ryzyka (poziom 4) w ramach AI Act podlegają szczególnym wymogom w zakresie oceny zgodności oraz sporządzania i utrzymywania dokumentacji technicznej. Celem tych obowiązków jest zapewnienie, że systemy te działają w sposób zgodny z przepisami prawa, są bezpieczne i funkcjonalne, a ich wdrożenie nie zagraża podstawowym prawom użytkowników. Uczestnicy szkoleń Cognity często mówią, że właśnie ta wiedza najbardziej zmienia ich sposób pracy.

Ocena zgodności – podstawowe podejścia

Ocena zgodności to proces, który pozwala zweryfikować, czy system AI spełnia wymagania określone w AI Act. W zależności od zastosowania i rodzaju systemu, organizacja może być zobowiązana do zastosowania jednej z kilku procedur oceny:

• Wewnętrzna kontrola zgodności – stosowana w mniej skomplikowanych przypadkach, gdy organizacja samodzielnie ocenia zgodność na podstawie wewnętrznych procedur.
• Ocena z udziałem jednostki notyfikowanej – wymagania wzrastają, gdy system może mieć istotny wpływ na bezpieczeństwo lub prawa obywatelskie; wówczas ocena musi być przeprowadzona przy udziale niezależnej jednostki zewnętrznej.

Dokumentacja techniczna – co powinna zawierać?

Dokumentacja techniczna to kluczowy element procesu oceny zgodności. Jej celem jest umożliwienie organom nadzoru oraz jednostkom oceniającym pełnej analizy działania systemu AI.

Wymagana dokumentacja powinna zawierać m.in.:

• ogólny opis systemu, jego przeznaczenia i funkcji,
• opis danych wykorzystywanych do trenowania i testowania modeli,
• szczegóły dotyczące stosowanych algorytmów oraz ich parametrów,
• środki służące zapewnieniu dokładności, solidności i bezpieczeństwa systemu,
• informacje o testach przeprowadzonych przed wdrożeniem,
• procedury zarządzania ryzykiem i plan działania w przypadku awarii.

Warto zauważyć, że dokumentacja musi być regularnie aktualizowana – szczególnie w przypadku wprowadzania istotnych zmian w systemie AI lub jego zastosowaniach. Należy ją również przechowywać przez co najmniej 10 lat od momentu wprowadzenia systemu na rynek lub zakończenia jego użytkowania.

Wdrożenie powyższych obowiązków wymaga od organizacji nie tylko znajomości technicznych aspektów systemu, ale również umiejętności odpowiedniego udokumentowania procesów z nim związanych w sposób zgodny z wymogami prawodawstwa unijnego.

Obowiązki w zakresie przejrzystości i nadzoru nad systemem AI

Systemy sztucznej inteligencji sklasyfikowane jako wysokiego ryzyka (poziom 4) na mocy AI Act muszą spełniać szereg wymogów związanych z przejrzystością działania oraz nadzorem nad ich funkcjonowaniem. Celem tych obowiązków jest zapewnienie, że użytkownicy końcowi oraz osoby nadzorujące mają jasność co do sposobu działania systemu, jego ograniczeń, a także możliwości podejmowania interwencji w przypadku nieprawidłowości. Dla organizacji dążących do pełnej zgodności regulacyjnej i odpowiedzialnego wdrażania AI pomocne może być skorzystanie z Kursu AI a RODO – jak łączyć zgodność regulacyjną z wdrażaniem nowych technologii.

Kluczowe wymogi przejrzystości

• Informacja o wykorzystaniu AI: użytkownik końcowy musi być poinformowany, że ma do czynienia z systemem AI, w tym o jego funkcjach i ograniczeniach.
• Wyjaśnialność decyzji: system powinien umożliwiać zrozumienie, na jakiej podstawie podejmowane są decyzje, np. poprzez wskazanie istotnych cech wejściowych, które wpłynęły na wynik.
• Dostępność dokumentacji użytkowej: systemy muszą być wyposażone w przejrzyste instrukcje obsługi oraz informacje dotyczące interpretacji wyników działania modelu.

Nadzór ludzki i kontrola

AI Act wymaga, by systemy wysokiego ryzyka podlegały skutecznemu nadzorowi człowieka. Oznacza to, że organizacja musi zapewnić odpowiednie środki techniczne i organizacyjne do:

• monitorowania działania systemu w czasie rzeczywistym,
• możliwości ręcznego przerwania lub nadpisania działania systemu (tzw. human override),
• rejestrowania decyzji i zdarzeń w celach audytowych.

Porównanie: przejrzystość vs. nadzór

Przykład implementacji nadzoru

// Przykładowa funkcja umożliwiająca zatrzymanie działania systemu AI
function emergencyStop() {
  aiSystem.pause();
  alert('System AI został zatrzymany przez operatora.');
}

Powyższy fragment kodu ilustruje prosty mechanizm interwencji człowieka w system oparty na AI, który można dostosować do różnych środowisk aplikacyjnych.

Spełnienie obowiązków z zakresu przejrzystości i nadzoru nie tylko wspiera zgodność z przepisami, ale również buduje zaufanie do technologii AI poprzez zapewnienie odpowiedzialnego i etycznego jej stosowania.

Zarządzanie ryzykiem i zapewnienie bezpieczeństwa użytkowników

Systemy sztucznej inteligencji zakwalifikowane jako wysokiego ryzyka (poziom 4) w ramach AI Act wymagają od organizacji wdrożenia kompleksowego podejścia do zarządzania ryzykiem oraz zapewnienia bezpieczeństwa użytkowników końcowych. Proces ten obejmuje zarówno działania prewencyjne, jak i mechanizmy reagowania na potencjalne incydenty. Celem jest minimalizacja ryzyka związanego z błędami, uprzedzeniami algorytmicznymi, a także nieprzewidywalnymi zachowaniami systemów AI.

Skuteczne zarządzanie ryzykiem opiera się na ciągłej identyfikacji zagrożeń, analizie ich wpływu oraz wdrażaniu środków kontrolnych. Organizacje muszą również zadbać o to, by użytkownicy końcowi byli chronieni zarówno na etapie projektowania systemu, jak i jego rzeczywistego użytkowania.

Podstawowe elementy zarządzania ryzykiem

• Ocena ryzyka – identyfikacja i kategoryzacja potencjalnych zagrożeń związanych z działaniem systemu AI.
• Mitigacja – wdrażanie środków zapobiegawczych i ograniczających skutki zagrożeń.
• Monitorowanie – bieżące śledzenie działania AI w celu wykrycia nieprawidłowości lub odchyleń od oczekiwanego zachowania.
• Reakcja na incydenty – przygotowanie procedur awaryjnych i mechanizmów szybkiego reagowania na problemy.

Bezpieczeństwo użytkowników w centrum uwagi

W kontekście AI Act bezpieczeństwo użytkowników obejmuje nie tylko fizyczną ochronę, ale również zapewnienie sprawiedliwego traktowania, przejrzystości działania oraz odporności systemu AI na manipulacje i błędy. Szczególny nacisk kładziony jest na:

• Zapobieganie dyskryminacji – systemy muszą być trenowane i testowane w sposób, który minimalizuje ryzyko uprzedzeń algorytmicznych.
• Odporność na działania zewnętrzne – ochrona przed złośliwymi atakami, manipulacjami danych wejściowych i innymi formami nadużyć.
• Bezpieczna interakcja – projektowanie interfejsów użytkownika w sposób intuicyjny i zgodny z zasadami użyteczności.

Przykładowe porównanie praktyk zarządzania ryzykiem

Efektywne zarządzanie ryzykiem i ochrona użytkownika to nie jednorazowe działania, lecz proces ciągły, który wymaga regularnej weryfikacji skuteczności stosowanych metod oraz dostosowywania ich do zmieniających się warunków technologicznych i regulacyjnych.

Obowiązki po wdrożeniu: monitorowanie, raportowanie i aktualizacje

Po wdrożeniu systemu AI wysokiego ryzyka, organizacje są zobowiązane do prowadzenia ciągłego nadzoru nad jego działaniem oraz reagowania na zmiany wpływające na poziom ryzyka. Zgodnie z AI Act, odpowiedzialność nie kończy się na uzyskaniu zgodności – kluczowe znaczenie ma utrzymanie standardów bezpieczeństwa, przejrzystości i zgodności przez cały cykl życia systemu.

Do głównych obowiązków należy:

• Monitorowanie wydajności i bezpieczeństwa systemu: Organizacje muszą zapewnić stałą obserwację działania systemu AI w warunkach rzeczywistych, w tym wykrywać i analizować ewentualne incydenty, błędy lub niezamierzone efekty.
• Raportowanie poważnych incydentów: Każdy istotny problem związany z bezpieczeństwem, dyskryminacją lub naruszeniem praw użytkowników musi być zgłaszany do odpowiednich organów nadzorczych w wyznaczonym czasie, zwykle w ciągu kilku dni od wykrycia.
• Aktualizacja systemu i dokumentacji: Wszelkie zmiany w systemie – zarówno poprawki techniczne, jak i dostosowania funkcji – muszą być odpowiednio udokumentowane. W przypadku istotnych modyfikacji może być wymagane ponowne przeprowadzenie oceny zgodności.
• Utrzymanie zgodności z przepisami: Przepisy dotyczące AI mogą ewoluować, dlatego organizacje powinny być przygotowane na aktualizacje regulacyjne i dostosowywać do nich zarówno systemy, jak i procedury wewnętrzne.

Skuteczne zarządzanie obowiązkami po wdrożeniu wymaga ustanowienia wewnętrznych procesów monitorujących, mechanizmów reagowania oraz odpowiednio przeszkolonych zespołów. Należy również pamiętać, że odpowiedzialność za system nie kończy się w momencie jego uruchomienia – organizacja pozostaje za niego odpowiedzialna przez cały czas jego użytkowania.

Konsekwencje nieprzestrzegania przepisów AI Act

Nieprzestrzeganie przepisów rozporządzenia AI Act może skutkować dotkliwymi konsekwencjami dla organizacji wdrażających lub eksploatujących systemy sztucznej inteligencji, zwłaszcza te zakwalifikowane jako wysokiego ryzyka (poziom 4). Ustawodawca europejski przewidział zarówno sankcje administracyjne, jak i finansowe, mające na celu zapewnienie skutecznego egzekwowania nowych regulacji.

Do podstawowych konsekwencji należą:

• Kary finansowe – w zależności od rodzaju naruszenia, mogą sięgać nawet 30 mln euro lub 6% globalnego obrotu rocznego firmy, przy czym stosowana jest wyższa z tych wartości.
• Zakaz wprowadzenia systemu AI na rynek UE – w przypadku poważnych naruszeń, takich jak stosowanie zakazanych praktyk lub brak zgodności z podstawowymi wymogami bezpieczeństwa i transparentności.
• Obowiązek wycofania systemu z rynku – jeśli system został już wdrożony, a jego działanie niesie ryzyko dla zdrowia, bezpieczeństwa lub praw podstawowych użytkowników.
• Odpowiedzialność cywilna i reputacyjna – organizacje mogą ponosić odpowiedzialność wobec osób poszkodowanych przez niezgodne z prawem działanie systemów AI, a także ryzykować utratę zaufania klientów i partnerów biznesowych.
• Nadzór i kontrole – organy nadzorcze mogą wszczynać postępowania wyjaśniające, żądać dokumentacji, przeprowadzać audyty i nakładać środki zaradcze.

Wdrożenie systemów AI w zgodzie z AI Act to nie tylko obowiązek prawny, ale również element budowania zaufania i odpowiedzialności w cyfrowym ekosystemie. Niewypełnienie tych wymogów może prowadzić do wieloaspektowych strat i utrudnień w operacyjnej działalności organizacji. W Cognity uczymy, jak skutecznie radzić sobie z podobnymi wyzwaniami – zarówno indywidualnie, jak i zespołowo.

Ataki na chain-of-trust w przeglądarce: fałszywe rozszerzenia, OAuth i przejęcia sesji (case’y 2025/26) 22 marca 2026

Błędy w wizualizacji KPI: 15 pułapek (skale, osie, kumulacje), które mylą zarząd 20 marca 2026