Jakie procedury wewnętrzne są wymagane przy systemach high-risk AI?

Wprowadzenie do AI Act i systemów wysokiego ryzyka

Unijne rozporządzenie Artificial Intelligence Act (AI Act) to przełomowa inicjatywa prawna, której celem jest uregulowanie rozwoju, wdrażania i stosowania sztucznej inteligencji na terytorium Unii Europejskiej. Przyjęte podejście opiera się na analizie ryzyka, co oznacza, że różne systemy AI są klasyfikowane według poziomu potencjalnego zagrożenia, jakie mogą stanowić dla zdrowia, bezpieczeństwa, praw podstawowych oraz interesów publicznych.

Szczególną uwagę AI Act poświęca systemom wysokiego ryzyka (high-risk AI systems). Tego typu rozwiązania są stosowane w obszarach o dużym znaczeniu społecznym i gospodarczym, takich jak opieka zdrowotna, transport, zatrudnienie, edukacja czy egzekwowanie prawa. Ich wykorzystanie może prowadzić do poważnych konsekwencji dla jednostek i całych grup społecznych, dlatego objęte są szeregiem restrykcyjnych wymagań i obowiązków dla podmiotów je wdrażających.

AI Act nie zakazuje stosowania systemów wysokiego ryzyka, ale nakłada na organizacje odpowiedzialne za ich projektowanie i wykorzystanie obowiązek spełnienia rygorystycznych norm w zakresie bezpieczeństwa, przejrzystości, zarządzania danymi oraz nadzoru. Celem tych regulacji jest stworzenie zaufanego ekosystemu AI, który wspiera innowacje technologiczne, jednocześnie chroniąc obywateli i instytucje przed potencjalnymi nadużyciami.

Wprowadzenie AI Act oznacza konieczność wprowadzenia wewnętrznych procedur i mechanizmów kontrolnych w organizacjach, które korzystają z systemów AI klasyfikowanych jako wysokiego ryzyka. Obejmuje to zarówno przedsiębiorstwa prywatne, jak i instytucje publiczne, które muszą dostosować swoje procesy do wymogów regulacyjnych w zakresie zgodności i odpowiedzialności.

Klasyfikacja systemów AI wysokiego ryzyka zgodnie z AI Act

Rozporządzenie AI Act wprowadza szczegółową klasyfikację systemów sztucznej inteligencji, wyróżniając m.in. te, które uznawane są za wysokiego ryzyka. Kryteria tej klasyfikacji opierają się przede wszystkim na wpływie danego systemu na prawa podstawowe, bezpieczeństwo oraz zdrowie ludzi. Systemy zaklasyfikowane jako wysokiego ryzyka podlegają rygorystycznym wymogom regulacyjnym i nadzorczym. W Cognity obserwujemy rosnące zainteresowanie tym zagadnieniem – zarówno na szkoleniach otwartych, jak i zamkniętych.

Systemy AI wysokiego ryzyka można ogólnie podzielić na dwie główne kategorie:

• Systemy stosowane w kontekście produktów objętych harmonizacją UE – obejmują m.in. wyroby medyczne, maszyny, pojazdy czy urządzenia pomiarowe, w których AI pełni istotną funkcję. W takich przypadkach system AI podlega nie tylko przepisom AI Act, ale także szczegółowym regulacjom sektorowym.
• Samodzielne systemy AI stosowane w określonych obszarach – to m.in. rozwiązania wykorzystywane w edukacji, zatrudnieniu, rekrutacji, egzekwowaniu prawa, zarządzaniu infrastrukturą krytyczną, czy też przy podejmowaniu decyzji administracyjnych. Tego rodzaju systemy nie są częścią fizycznego produktu, ale same w sobie generują znaczące ryzyko dla obywateli i społeczeństwa.

Wspólną cechą wszystkich systemów wysokiego ryzyka jest to, że ich działanie może prowadzić do poważnych konsekwencji, jeśli nie zostaną odpowiednio zaprojektowane, przetestowane i monitorowane. W związku z tym AI Act narzuca na dostawców i użytkowników takich systemów szereg obowiązków związanych z zapewnieniem przejrzystości, nadzoru i zgodności z normami.

Obowiązki firm korzystających z AI wysokiego ryzyka

AI Act nakłada na przedsiębiorstwa wykorzystujące systemy sztucznej inteligencji o wysokim ryzyku szereg obowiązków mających na celu zapewnienie bezpieczeństwa, przejrzystości oraz zgodności z prawem. Obowiązki te dotyczą zarówno fazy projektowania i wdrażania systemu, jak i jego bieżącej eksploatacji oraz monitorowania. Poniżej przedstawiamy główne grupy obowiązków firm korzystających z takich systemów:

• Ocena zgodności przed wprowadzeniem na rynek – Przedsiębiorstwa są zobowiązane do przeprowadzenia procedury oceny zgodności, która potwierdza, że system spełnia wymagania AI Act.
• Rejestracja systemów AI wysokiego ryzyka – Każdy system wysokiego ryzyka musi zostać zarejestrowany w europejskiej bazie danych prowadzonej przez Komisję Europejską.
• Tworzenie i przechowywanie dokumentacji technicznej – Firmy muszą prowadzić i aktualizować kompleksową dokumentację techniczną systemu, która dokumentuje jego przeznaczenie, sposób działania, algorytmy, zbiory danych oraz ocenę ryzyka.
• Zarządzanie ryzykiem – Wymagane jest wdrożenie systemów identyfikacji, analizy i redukcji ryzyka związanego z działaniem AI.
• Transparentność i informowanie użytkownika – Użytkownicy systemu muszą być jasno informowani o jego funkcjonalnościach, ograniczeniach oraz sposobie jego działania, w sposób zrozumiały i dostępny.
• Nadzór człowieka nad systemem – Przedsiębiorstwa muszą zapewnić, że system pozostaje pod odpowiednim nadzorem człowieka, umożliwiając interwencję w przypadku nieprawidłowego działania.
• Zapewnienie jakości danych – Systemy AI wysokiego ryzyka muszą być trenowane i testowane na odpowiednich, reprezentatywnych i wolnych od błędów zbiorach danych.

Poniższa tabela przedstawia porównanie obowiązków firm korzystających z AI wysokiego ryzyka oraz firm stosujących systemy o niższym poziomie ryzyka:

W skrócie, firmy korzystające z systemów AI wysokiego ryzyka muszą wdrożyć zaawansowane mechanizmy kontroli, dokumentacji, nadzoru i zgodności, aby sprostać wymogom regulacyjnym i zminimalizować potencjalne zagrożenia dla użytkowników i społeczeństwa. Dla osób zainteresowanych pogłębieniem wiedzy na temat obowiązków wynikających z AI Act, warto rozważyć udział w Kursie AI Act w praktyce – compliance, ryzyka i obowiązki.

Wdrożenie procedur oceny zgodności

Procedura oceny zgodności to kluczowy element zapewnienia, że systemy sztucznej inteligencji wysokiego ryzyka spełniają wymogi określone w rozporządzeniu AI Act. Celem tej procedury jest potwierdzenie, że system AI działa zgodnie z obowiązującymi normami prawnymi, technicznymi i etycznymi przed jego udostępnieniem na rynku UE.

W przypadku systemów wysokiego ryzyka, AI Act nakłada obowiązek przeprowadzenia oceny zgodności jeszcze przed ich wdrożeniem. Proces ten może odbywać się na dwa sposoby – samodzielnie przez dostawcę (tzw. wewnętrzna kontrola produkcji) lub przy udziale niezależnej jednostki oceniającej zgodność (ang. notified body).

Wybór odpowiedniego trybu zależy od klasyfikacji systemu AI oraz poziomu ryzyka, jaki może on generować. W obu przypadkach konieczne jest sporządzenie technicznej dokumentacji, która zawiera m.in. opis systemu, dowody zgodności z wymogami AI Act, procedury testowania oraz wyniki analiz ryzyka.

Dodatkowo, niezbędne jest wdrożenie systemu zarządzania jakością, który umożliwia ciągłe monitorowanie i udoskonalanie procesu rozwoju oraz eksploatacji systemu AI. W praktyce oznacza to m.in. wprowadzenie standardów w zakresie testowania, walidacji danych treningowych oraz przechowywania logów operacyjnych.

Ocena zgodności nie kończy się na etapie przedwdrożeniowym – AI Act przewiduje również konieczność aktualizacji dokumentacji i ponownej oceny w przypadku istotnych modyfikacji systemu. W Cognity omawiamy to zagadnienie zarówno od strony technicznej, jak i praktycznej – zgodnie z realiami pracy uczestników.

Zarządzanie ryzykiem i nadzór nad systemami AI

Efektywne zarządzanie ryzykiem oraz nadzór nad systemami sztucznej inteligencji wysokiego ryzyka stanowią jeden z filarów unijnego rozporządzenia AI Act. Celem tych działań jest zapewnienie odpowiedzialnego i bezpiecznego funkcjonowania systemów AI o dużym wpływie na życie obywateli oraz na kluczowe sektory gospodarki.

Systemy wysokiego ryzyka muszą być projektowane i eksploatowane w sposób umożliwiający identyfikację, ocenę i łagodzenie ryzyk związanych z ich użyciem. Wymaga to wdrożenia formalnych procedur zarządzania ryzykiem oraz ustanowienia mechanizmów nadzoru zarówno na etapie projektowania, jak i w czasie rzeczywistego użytkowania danego systemu.

Elementy skutecznego zarządzania ryzykiem

Zarządzanie ryzykiem w kontekście AI wysokiego ryzyka obejmuje:

• Identyfikację zagrożeń – rozpoznanie potencjalnych skutków ubocznych działania systemu, w tym ryzyk dla praw podstawowych.
• Ocenę prawdopodobieństwa i skali skutków – analiza, jak często i jak poważne mogą być konsekwencje nieprawidłowego działania AI.
• Minimalizację ryzyka – działania techniczne i organizacyjne mające na celu ograniczenie występowania zagrożeń.
• Weryfikację skuteczności środków zaradczych – monitorowanie, czy wdrożone procedury rzeczywiście redukują ryzyko.

Nadzór nad systemami AI

Nadzór nad systemami wysokiego ryzyka jest nieodłącznym elementem zarządzania cyklem życia AI. Może on przyjmować różne formy, takie jak:

• Nadzór ludzki – zapewnienie, że człowiek ma realną możliwość kontrolowania decyzji podejmowanych przez system.
• Nadzór techniczny – stosowanie mechanizmów monitorowania działania modelu w czasie rzeczywistym, np. poprzez alerty lub dashboardy diagnostyczne.
• Niezależny audyt – okresowa ocena działania systemu AI realizowana przez osoby lub podmioty spoza zespołu projektowego.

Porównanie podejść do nadzoru

Odpowiedni dobór i integracja powyższych metod zależy od charakterystyki konkretnego systemu oraz od ryzyk, jakie może on generować. Kluczowe jest podejście proaktywne – nie tylko reagowanie na problemy, ale ich przewidywanie i zapobieganie im. Dla osób zainteresowanych pogłębieniem wiedzy z zakresu zgodności regulacyjnej systemów AI, polecamy Kurs AI a RODO - jak łączyć zgodność regulacyjną z wdrażaniem nowych technologii.

Procedury monitorowania i raportowania

Systemy sztucznej inteligencji wysokiego ryzyka, zgodnie z wymogami AI Act, muszą być objęte ciągłym nadzorem operacyjnym oraz odpowiednimi procedurami raportowania. Celem tych działań jest zapewnienie, że systemy działają zgodnie z założeniami, są bezpieczne dla użytkowników, a także transparentne wobec organów nadzorczych.

Monitorowanie działania systemu

Monitorowanie polega na bieżącym śledzeniu i analizowaniu funkcjonowania systemu AI w celu wykrywania nieprawidłowości, odchyleń od zamierzonego działania oraz potencjalnych zagrożeń. Kluczowe elementy to:

• Logowanie aktywności systemu – rejestrowanie decyzji, danych wejściowych i wyjściowych w celu umożliwienia audytu.
• Wczesne wykrywanie anomalii – automatyczne mechanizmy wykrywające nietypowe zachowania systemu.
• Walidacja wyników – porównywanie rezultatów działania AI z wynikami oczekiwanymi lub referencyjnymi.

Raportowanie zgodności i incydentów

Obowiązek raportowania obejmuje zarówno okresowe sprawozdania dotyczące zgodności z przepisami, jak i natychmiastowe zgłaszanie poważnych incydentów. Przykładowe formy raportowania to:

• Raporty okresowe – dokumentacja regularnie przesyłana do organów nadzoru lub udostępniana wewnątrz organizacji.
• Zgłoszenia incydentów – obowiązkowe zawiadomienie (np. w ciągu 15 dni) o poważnych naruszeniach bezpieczeństwa lub błędach funkcjonalnych.
• Ścieżka audytowa – kompletne i możliwe do prześledzenia dane o decyzjach podejmowanych przez AI.

Porównanie procedur

Przykład techniczny

W przypadku systemu AI zintegrowanego z aplikacją webową, podstawowy mechanizm monitorujący może wyglądać następująco:

def log_ai_decision(input_data, output_data, model_version):
    log_entry = {
        "timestamp": datetime.utcnow().isoformat(),
        "input": input_data,
        "output": output_data,
        "model_version": model_version
    }
    save_to_secure_log(log_entry)

Tego rodzaju funkcje wspierają tworzenie przejrzystej ścieżki audytowej i są zgodne z wymogami AI Act dotyczącymi przejrzystości działania systemów wysokiego ryzyka.

Szkolenia i odpowiedzialność pracowników

Systemy sztucznej inteligencji wysokiego ryzyka wymagają nie tylko zaawansowanych technologii i zgodności z przepisami, ale również odpowiednio przygotowanych pracowników. AI Act nakłada na organizacje obowiązek zapewnienia, że personel zaangażowany w projektowanie, wdrażanie, monitorowanie i obsługę takich systemów posiada odpowiednią wiedzę i umiejętności.

Szkolenia dla pracowników powinny obejmować zarówno aspekty techniczne, jak i etyczne oraz prawne. Kluczowe jest, aby osoby pracujące z systemami AI wysokiego ryzyka rozumiały potencjalne zagrożenia, jakie niesie ich wykorzystanie, oraz znały procedury służące minimalizacji ryzyka. Obejmuje to m.in. zasady ochrony danych, przeciwdziałanie dyskryminacji algorytmicznej oraz stosowanie mechanizmów wyjaśnialności decyzji podejmowanych przez AI.

Ważnym elementem jest również wyznaczenie jasnych ról i zakresu odpowiedzialności. Każdy pracownik powinien znać swoje obowiązki w kontekście działania systemów wysokiego ryzyka, w tym obowiązek zgłaszania nieprawidłowości, incydentów lub ryzyk związanych z działaniem AI. Organizacje powinny zatem wdrożyć wewnętrzne polityki i procedury umożliwiające skuteczne zarządzanie odpowiedzialnością oraz zapewniające dostęp do regularnych i aktualizowanych szkoleń w tym zakresie.

Szkolenia i odpowiedzialność kadry to fundamenty bezpiecznego i zgodnego z prawem korzystania z AI wysokiego ryzyka. Bez świadomego i wykwalifikowanego zespołu, nawet najbardziej zaawansowany system może stać się źródłem poważnych naruszeń i zagrożeń.

Dokumentacja i przechowywanie danych

W kontekście systemów sztucznej inteligencji wysokiego ryzyka, odpowiednia dokumentacja oraz bezpieczne przechowywanie danych mają kluczowe znaczenie dla zapewnienia transparentności, rozliczalności i zgodności z wymogami AI Act. Obejmuje to zarówno dane wykorzystywane do trenowania modeli, jak i informacje dotyczące działania, testowania oraz monitorowania systemów.

Dokumentacja powinna być prowadzona w sposób systematyczny i umożliwiający audyt – tak wewnętrzny, jak i zewnętrzny. Zgodnie z przepisami, musi zawierać m.in. opis funkcji systemu, zastosowanych algorytmów, źródeł danych oraz wyników oceny ryzyka. Równie istotne jest zapewnienie, że dane są przechowywane w sposób umożliwiający ich odtworzenie przez określony czas – nawet po zakończeniu stosowania systemu AI.

Przechowywanie danych powinno spełniać standardy bezpieczeństwa informatycznego i być zgodne z ogólnymi przepisami o ochronie danych, w tym RODO. Obejmuje to zabezpieczenia techniczne i organizacyjne chroniące przed nieuprawnionym dostępem, utratą lub nieautoryfikowaną modyfikacją danych.

W praktyce, dokumentacja i przechowywanie danych pełnią trzy główne funkcje:

• Dowodową – umożliwiają wykazanie zgodności z przepisami prawa oraz wewnętrznymi procedurami firmy.
• Operacyjną – wspierają zarządzanie systemem AI i jego dalszy rozwój.
• Prewencyjną – pomagają identyfikować i eliminować potencjalne zagrożenia na wczesnym etapie.

Stworzenie odpowiednich procedur dokumentacyjnych i ich konsekwentne stosowanie stanowi fundament bezpiecznego wdrażania i eksploatacji systemów AI wysokiego ryzyka. W Cognity uczymy, jak skutecznie radzić sobie z podobnymi wyzwaniami – zarówno indywidualnie, jak i zespołowo.

KNIME w 2026: 12 gotowych wzorców workflow do czyszczenia danych bez kodu 26 marca 2026

ThinkCell vs PowerPoint Add-ins 2026: 9 różnic, które widać dopiero w dużych deckach 24 marca 2026