AI Act a dane analityczne: jak sklasyfikować przypadki użycia BI i chatbotów, żeby nie wpaść w „high-risk”
Jak w AI Act sklasyfikować BI i chatboty, by nie wpaść w „high-risk”: definicje, procedura oceny, kryteria, dokumenty, checklisty i plan wdrożenia 2–6 tygodni.
1. Kontekst AI Act: podstawowe pojęcia i dlaczego klasyfikacja use-case’ów ma znaczenie
AI Act wprowadza wspólne ramy prawne dla systemów sztucznej inteligencji w UE. Dla zespołów budujących analitykę danych, rozwiązania BI oraz chatboty kluczowe jest to, że obowiązki nie wynikają wyłącznie z faktu użycia „AI” w potocznym sensie, lecz z tego, czy dane rozwiązanie spełnia definicję systemu AI oraz do jakiej kategorii ryzyka zostanie przypisane. To właśnie dlatego poprawna klasyfikacja przypadku użycia (use-case’u) staje się punktem wyjścia do decyzji projektowych, dokumentacyjnych i compliance.
W praktyce w wielu organizacjach największe ryzyko nie polega na „złym modelu”, tylko na błędnym założeniu, że dane narzędzie analityczne lub funkcja w produkcie „na pewno nie podpada pod AI Act”. Tymczasem nawet jeśli AI jest tylko jednym z komponentów (np. wbudowaną funkcją w platformie BI albo modułem generatywnym w asystencie), to sposób użycia i kontekst wdrożenia mogą przesądzić o kwalifikacji regulacyjnej.
Co AI Act rozumie przez „system AI” (w uproszczeniu)
AI Act posługuje się definicją systemu AI obejmującą oprogramowanie, które działa z pewnym poziomem autonomii i na podstawie danych lub celów potrafi generować wyniki wpływające na otoczenie, takie jak rekomendacje, predykcje, decyzje lub treści. Dla obszaru danych analitycznych oznacza to, że nie każde raportowanie jest AI, ale już rozwiązania, które wnioskują, rankingują, przewidują lub automatycznie sugerują działania, mogą zbliżać się do definicji systemu AI.
Istotne jest też, że AI Act patrzy na system nie tylko przez pryzmat użytego algorytmu, ale również przez pryzmat funkcji i sposobu oddziaływania na użytkowników oraz osoby, których dane dotyczą.
Role w łańcuchu dostaw: kto za co odpowiada
AI Act rozróżnia m.in. role takie jak dostawca (podmiot wprowadzający system na rynek lub oddający do używania pod własną marką) oraz podmiot stosujący (organizacja, która używa systemu w swojej działalności). W kontekście BI i chatbotów ta granica bywa nieoczywista: użycie gotowego narzędzia w firmie to zwykle rola „stosującego”, ale już istotne modyfikacje, trenowanie na własnych danych czy udostępnienie rozwiązania klientom mogą zbliżać organizację do obowiązków dostawcy w zakresie konkretnego wdrożenia.
Na poziomie projektu warto od początku ustalić: kto konfiguruje model, kto decyduje o jego przeznaczeniu, kto zarządza danymi i kto ponosi odpowiedzialność za zgodność w danym scenariuszu użycia.
Logika AI Act: podejście oparte na ryzyku
Regulacja opiera się na gradacji ryzyka. W uproszczeniu obowiązki rosną wraz z tym, jak bardzo system może wpływać na bezpieczeństwo, prawa i wolności osób oraz na dostęp do kluczowych usług i możliwości (np. zatrudnienia, edukacji, świadczeń). Dla zespołów produktowych oznacza to konieczność odpowiedzi na pytanie: czy nasze rozwiązanie tylko wspiera analizę (narzędzie), czy realnie kształtuje decyzje o osobach lub ich sytuacji (wpływ)?
Ważna jest też różnica między systemami, które:
- automatyzują lub zastępują element decyzji (większe ryzyko),
- wspierają człowieka informacją, ale bez narzucania wyniku (zwykle niższe ryzyko, choć zależne od kontekstu),
- oddziałują komunikacyjnie na użytkownika (np. chatbot), gdzie pojawiają się obowiązki dotyczące transparentności i zapobiegania wprowadzaniu w błąd.
Dlaczego klasyfikacja use-case’u jest krytyczna dla BI i chatbotów
BI i chatboty często powstają jako „warstwa” nad danymi: raporty, dashboardy, wyszukiwarki, asystenci do pytań o dane, generowanie podsumowań czy rekomendacji. Te same klocki technologiczne mogą jednak tworzyć zupełnie różne profile ryzyka w zależności od tego, do czego i w jakim procesie są używane.
Klasyfikacja use-case’u ma znaczenie, ponieważ:
- determinuje zakres obowiązków (organizacyjnych, technicznych i dokumentacyjnych) już na etapie projektowania,
- wpływa na decyzje architektoniczne (np. separacja funkcji, ograniczenia automatyzacji, kontrola nad danymi i wynikami),
- zmniejsza ryzyko „wpadnięcia” w kategorię high-risk przez niezamierzone rozszerzenie funkcjonalności (np. z analizy opisowej do rekomendacji wpływających na ludzi),
- ułatwia komunikację z compliance i security dzięki wspólnemu językowi: co to za system, jaki ma cel, kto jest użytkownikiem, jaki jest wpływ na osoby.
W praktyce najczęstsze problemy wynikają z tego, że organizacje opisują rozwiązania technicznie („mamy LLM”, „mamy model predykcyjny”), zamiast opisać je funkcjonalnie i procesowo („kto używa wyniku”, „czy wynik wpływa na decyzje wobec osób”, „czy system działa w obszarze regulowanym lub wrażliwym”). AI Act wymusza właśnie takie, procesowe spojrzenie.
Minimalny zestaw pojęć, które warto ujednolicić w organizacji
Żeby klasyfikacja była powtarzalna i obroniona, zespoły zwykle potrzebują wspólnego rozumienia kilku pojęć:
- Use-case jako opis celu biznesowego i procesu, a nie tylko komponentów technicznych.
- System AI jako funkcja generująca wyniki wpływające na działania lub decyzje, a nie dowolna automatyzacja.
- Wpływ na osoby (bezpośredni lub pośredni) jako kluczowy czynnik ryzyka.
- Stopień automatyzacji i rola człowieka w podejmowaniu decyzji.
- Kontekst użycia (wewnętrzny vs zewnętrzny, wsparcie vs decyzja, krytyczny proces vs operacyjna wygoda).
Dopiero na tej podstawie można spójnie przejść do oceny, czy dane rozwiązanie jest „tylko analityką”, „chatbotem wspierającym” czy systemem, który z perspektywy AI Act należy traktować bardziej rygorystycznie.
2. BI vs chatboty: typowe scenariusze i gdzie najczęściej pojawia się „system AI” w rozumieniu AI Act
W praktyce organizacje najczęściej „wpadają” w temat AI Act nie dlatego, że używają danych i raportów, ale dlatego, że w procesie analitycznym lub komunikacji z użytkownikiem pojawia się komponent, który wnioskuje, przewiduje, rekomenduje albo generuje treści w sposób wpływający na decyzje. Podczas szkoleń Cognity ten temat wraca regularnie – dlatego zdecydowaliśmy się go omówić również tutaj. Dlatego warto rozdzielić dwa światy: klasyczne BI (business intelligence) oraz chatboty/asystentów — bo punkt, w którym narzędzie staje się „systemem AI” w rozumieniu AI Act, typowo wygląda inaczej w każdym z nich.
BI (Business Intelligence): od raportowania do predykcji
BI kojarzy się z raportami, dashboardami i analizą KPI. W wielu wdrożeniach jest to przede wszystkim agregacja, filtrowanie, wizualizacja i drill-down na danych historycznych według zdefiniowanych reguł. W takim układzie ryzyko „zahaczenia” o AI Act zwykle rośnie dopiero wtedy, gdy BI przestaje być narzędziem opisowym i zaczyna pełnić rolę decyzyjną lub quasi-decyzyjną.
Najczęstsze scenariusze BI spotykane w organizacjach:
- Raportowanie operacyjne i zarządcze: wyniki sprzedaży, marża, koszty, SLA, produkcja, logistyka.
- Analiza ad-hoc: eksploracja danych, segmentacje, porównania okresów, analiza odchyleń.
- Alerty i progi: powiadomienia na podstawie z góry ustalonych warunków (np. spadek KPI poniżej progu).
- Score’y i prognozy: predykcje popytu, ryzyka odejścia klienta, prawdopodobieństwa opóźnienia, wykrywanie anomalii, rekomendacje działań.
Gdzie najczęściej pojawia się „system AI” w BI? Zwykle w warstwie, która:
- buduje model lub stosuje uczenie maszynowe/statystyczne do wnioskowania (np. scoring, prognoza, klasyfikacja),
- generuje rekomendacje („co zrobić dalej”) zamiast tylko pokazywać dane,
- automatyzuje interpretację (np. automatyczne wytłumaczenia trendów, wykrywanie przyczyn),
- profiluje osoby (np. ocena ryzyka, segmentacja behawioralna ukierunkowana na działania wobec konkretnych osób).
Kluczowa różnica: w BI „AI” bywa ukryte jako jedna funkcja w narzędziu (np. moduł predykcji), podczas gdy reszta rozwiązania pozostaje klasyczną analityką opisową.
Chatboty i asystenci: interfejs konwersacyjny jako kanał wpływu
Chatboty i asystenci (w tym oparte o modele generatywne) są z natury nastawione na interakcję: odpowiadają, proponują, prowadzą użytkownika przez proces. Nawet jeśli pod spodem korzystają z tych samych danych co BI, to ryzyko regulacyjne częściej wynika z tego, że chatbot:
- formułuje odpowiedzi w języku naturalnym (łatwiej o nadinterpretację i „autorytet” odpowiedzi),
- może wpływać na decyzje przez sugestie, instrukcje lub kwalifikację spraw,
- jest postrzegany jako rozmówca, co uruchamia wymagania dotyczące transparentności i oczekiwań użytkownika.
Typowe scenariusze chatbotów/asystentów:
- Obsługa klienta: FAQ, status sprawy, przyjmowanie zgłoszeń, wstępna kwalifikacja problemu.
- Wsparcie pracowników: helpdesk IT/HR, wyszukiwanie procedur, asysta w tworzeniu dokumentów.
- Asystent analityczny: zadawanie pytań o dane („dlaczego spadła sprzedaż?”) i generowanie opisów/wniosków.
- Asystent procesowy: prowadzenie przez wniosek, zbieranie danych, sugerowanie kolejnych kroków.
Gdzie najczęściej pojawia się „system AI” w chatbotach? W samym silniku dialogu (np. model językowy, klasyfikator intencji), ale także w komponentach, które:
- decydują o treści odpowiedzi (generowanie, streszczanie, parafrazowanie),
- decydują o „następnej akcji” (routing do konsultanta, priorytetyzacja zgłoszenia, wybór procedury),
- personalizują odpowiedzi na podstawie profilu użytkownika lub historii interakcji,
- łączą się z narzędziami i inicjują działania (np. zlecenie, blokada, zmiana statusu), bo wtedy wpływ na sytuację użytkownika rośnie.
Kluczowa różnica: w chatbotach „AI” jest zazwyczaj centralnym mechanizmem doświadczenia użytkownika, a nie dodatkiem. Nawet prosty asystent może stać się krytyczny, jeśli jego odpowiedzi są traktowane jako wiążące wskazówki lub jeśli automatyzuje kwalifikację i obsługę spraw.
Najważniejsze rozróżnienia praktyczne (BI vs chatboty)
- Charakter wyniku: BI częściej dostarcza wskaźniki i wizualizacje; chatbot dostarcza odpowiedzi, interpretacje i instrukcje w języku naturalnym.
- Miejsce „AI”: w BI zwykle w wybranych modułach (predykcja/rekomendacje); w chatbotach zwykle w rdzeniu działania (generowanie/klasyfikacja/orkiestracja dialogu).
- Typowy sposób użycia: BI wspiera analityków i menedżerów; chatbot często trafia bezpośrednio do szerokiej grupy użytkowników (klienci/pracownicy), co zwiększa wagę transparentności i kontroli zachowania systemu.
- Ryzyko błędnej interpretacji: w BI odbiorca widzi liczby i kontekst; w chatbotach odpowiedź może brzmieć przekonująco nawet przy niepewności, co zwiększa ryzyko niewłaściwego polegania na systemie.
W efekcie ta sama „logika analityczna” (np. prognoza lub scoring) może być postrzegana inaczej, jeśli jest prezentowana jako wykres w BI albo jako stanowcza rekomendacja w rozmowie z chatbotem. Dlatego identyfikacja „systemu AI” w rozumieniu AI Act zaczyna się od pytania: czy to rozwiązanie tylko pokazuje dane, czy też wnioskuje/generuje i wpływa na decyzje użytkownika?
3. Procedura krok po kroku oceny i klasyfikacji: od opisu use-case’u do decyzji o kategorii ryzyka
Poniższa procedura ma pomóc uporządkować ocenę przypadków użycia analityki (BI) i chatbotów w świetle AI Act: najpierw precyzyjnie opisujesz zastosowanie, potem sprawdzasz, czy w ogóle wchodzi ono w zakres rozporządzenia, a na końcu klasyfikujesz ryzyko i dobierasz adekwatne obowiązki. Kluczowe jest podejście „use-case first”: identyczna technologia może trafić do różnych klas ryzyka w zależności od kontekstu użycia, użytkowników i wpływu na osoby.
Krok 0: Ustal zakres oceny (granice systemu)
- Co oceniamy? Pojedynczy produkt, funkcję (np. „podsumowanie raportu”), integrację (np. wtyczka do BI), lub cały proces (np. obsługa reklamacji wspierana chatbotem).
- Gdzie przebiega granica? Określ komponenty: źródła danych, model(e), warstwę aplikacyjną, kanały wejścia/wyjścia, człowieka w pętli (jeśli jest), integracje z systemami decyzyjnymi.
- Kto jest dostawcą, kto wdrażającym? W praktyce jedna organizacja może pełnić różne role (np. buduje model i jednocześnie go wdraża).
Krok 1: Opisz use-case w sposób „audytowalny”
Opis powinien być konkretny i możliwy do weryfikacji. Minimum informacyjne, które warto zebrać:
- Cel: do czego wynik ma być użyty (informowanie, rekomendowanie, automatyczna decyzja).
- Użytkownicy: kto korzysta (pracownicy, klienci, kandydaci do pracy, pacjenci, uczniowie itp.).
- Adresaci skutków: czyje prawa/interesy mogą zostać dotknięte (ta sama osoba co użytkownik czy ktoś trzeci).
- Wejścia: typy danych (w tym dane osobowe, wrażliwe, dane behawioralne, dane z rozmów).
- Wyjścia: forma wyniku (dashboard, ranking, odpowiedź czatu, alert, decyzja „tak/nie”).
- Stopień automatyzacji: czy wynik jest wiążący, czy tylko wspiera człowieka.
- Kontekst: domena i środowisko (HR, bankowość, edukacja, obsługa klienta, B2B/B2C).
Krok 2: Sprawdź, czy rozwiązanie wchodzi w zakres AI Act jako „system AI”
Nie każde narzędzie analityczne czy regułowy bot będzie „systemem AI” w rozumieniu AI Act. Na tym etapie ustalasz, czy mechanizm wnioskuje (inferuje) wyniki na podstawie uczenia/statystyki/heurystyk w sposób typowy dla AI, czy jest to wyłącznie deterministyczna logika biznesowa i klasyczne zapytania/raporty.
- Jeśli nie jest systemem AI: AI Act może nie mieć zastosowania (choć wciąż mogą obowiązywać inne reżimy: RODO, prawo konsumenckie, cyberbezpieczeństwo).
- Jeśli jest systemem AI: przejdź do oceny zakazów i klasy ryzyka.
Krok 3: Weryfikacja praktyk zakazanych ("unacceptable risk")
Zanim rozważysz „high-risk”, sprawdź, czy use-case nie wchodzi w obszar praktyk zakazanych. To etap „czerwonej flagi”: jeśli zachodzi zakaz, nie ma sensu dalsza klasyfikacja bez przeprojektowania rozwiązania lub rezygnacji.
- Oceń, czy rozwiązanie nie manipuluje zachowaniem w sposób szkodliwy, nie wykorzystuje wrażliwości określonych grup, nie prowadzi do niedozwolonego scoringu lub innych zakazanych zastosowań.
- Ustal, czy funkcje „ukryte” (np. analiza emocji, profilowanie) nie uruchamiają zakazów mimo że UI sugeruje „tylko analitykę”.
Krok 4: Ustal, czy to zastosowanie „high-risk” (załącznik III i kontekst decyzji)
Jeżeli use-case jest systemem AI i nie jest zakazany, kolejnym krokiem jest sprawdzenie, czy podpada pod kategorie wysokiego ryzyka. W praktyce decydują: domena, funkcja i wpływ (czy wynik wpływa na dostęp do usług/świadczeń, zatrudnienie, edukację, ocenę wiarygodności, bezpieczeństwo itp.).
- Mapowanie domeny: gdzie system jest używany (np. HR, kredyty, edukacja, opieka zdrowotna, usługi publiczne).
- Mapowanie funkcji: czy system ocenia, klasyfikuje, rankinguje lub rekomenduje w sposób, który może wywołać istotne skutki dla osoby.
- Mapowanie skutku: czy wynik prowadzi do decyzji (automatycznej lub de facto automatycznej) albo istotnie ogranicza swobodę decydenta.
Jeśli z mapowania wynika wysokie ryzyko, przyjmij klasyfikację „high-risk” i przejdź do ustalenia obowiązków. Jeśli nie, przejdź do kroków dla ryzyka ograniczonego/minimalnego.
Krok 5: Oceń, czy to „limited risk” (obowiązki transparentności)
Wiele rozwiązań (zwłaszcza interfejsy konwersacyjne i generowanie treści) nie będzie „high-risk”, ale będzie wymagało działań transparentnościowych. Na tym kroku ustalasz m.in. czy użytkownik powinien zostać poinformowany, że wchodzi w interakcję z AI, oraz czy generowane treści wymagają oznaczeń lub ujawnienia ich pochodzenia.
- Interakcja człowiek–AI: czy użytkownik może pomylić system z człowiekiem.
- Treści syntetyczne: czy system generuje lub modyfikuje treści w sposób, który może wprowadzać w błąd co do źródła.
Krok 6: Jeśli nie high-risk i nie limited—potwierdź „minimal risk” i utrzymaj podstawowe kontrolki
Gdy use-case nie wpada w zakazy, nie spełnia przesłanek wysokiego ryzyka i nie uruchamia szczególnych obowiązków transparentności, zwykle klasyfikuje się go jako minimal risk. To nie oznacza „zero obowiązków”: warto utrzymać podstawowe mechanizmy bezpieczeństwa, jakości i odpowiedzialności (zwykle wynikające także z innych regulacji i dobrych praktyk).
Krok 7: Udokumentuj decyzję i uzasadnienie ("decision record")
Niezależnie od wyniku klasyfikacji, przygotuj krótki zapis decyzji, który da się obronić w audycie wewnętrznym lub rozmowie z regulatorem. Powinien zawierać:
- opis use-case’u (cel, użytkownicy, wejścia/wyjścia, kontekst),
- wynik oceny: system AI czy nie,
- wynik weryfikacji zakazów,
- uzasadnienie klasy ryzyka,
- lista przyjętych środków (np. transparentność, ograniczenia użycia, nadzór człowieka),
- właściciel biznesowy i techniczny oraz data przeglądu.
Prosta mapa decyzyjna (do użycia w warsztacie)
| Pytanie | Jeśli „tak” | Jeśli „nie” |
|---|---|---|
| Czy to jest „system AI” (wnioskowanie, model, predykcja/generowanie)? | Idź do weryfikacji zakazów | Poza AI Act (zwykle); zachowaj inne wymogi (np. RODO) |
| Czy zachodzi praktyka zakazana? | Stop / przeprojektuj / zrezygnuj | Idź do oceny high-risk |
| Czy use-case wpisuje się w kategorie wysokiego ryzyka (kontekst + wpływ)? | Klasyfikuj jako high-risk | Idź do oceny limited risk |
| Czy uruchamia obowiązki transparentności (interakcja z AI / treści syntetyczne)? | Klasyfikuj jako limited risk | Minimal risk |
Minimalny szablon opisu use-case’u (do skopiowania)
Use-case:
- Cel i decyzja: (informowanie / rekomendacja / automatyczna decyzja)
- Użytkownicy i osoby, których dotyczy wynik:
- Kanał: (BI/dashboard/API/chat)
- Wejścia: (źródła danych, kategorie danych, dane osobowe?)
- Wyjścia: (typ wyniku, gdzie trafia, jak jest używany)
- Automatyzacja: (czy wynik jest wiążący, kto zatwierdza)
- Model/technika: (np. klasyfikacja, ranking, LLM) lub „brak AI”
- Kontekst: (domena, proces biznesowy)
- Wstępna klasyfikacja ryzyka + uzasadnienie:
- Właściciel + data przeglądu:4. Kryteria klasyfikacji dla analityki BI: kiedy to narzędzie analityczne, a kiedy system AI (przykłady niski/ograniczony/wysoki)
W obszarze BI (Business Intelligence) największe ryzyko błędnej klasyfikacji wynika z mieszania dwóch klas funkcji: (1) analityki opisowej/diagnostycznej (raporty, KPI, dashboardy) oraz (2) funkcji predykcyjnych lub rekomendacyjnych, które mogą spełniać przesłanki „systemu AI” w rozumieniu AI Act. W praktyce o klasyfikacji decyduje nie tyle nazwa narzędzia („BI”), ile to, czy rozwiązanie automatycznie wnioskuje (np. prognozuje, klasyfikuje, ocenia, rekomenduje) oraz jak wpływa na ludzi, procesy i decyzje. Zespół trenerski Cognity zauważa, że właśnie ten aspekt sprawia uczestnikom najwięcej trudności – zwłaszcza gdy „AI” jest ukryte w gotowych funkcjach platformy lub w modelu dostarczonym przez vendorów.
4.1. Kiedy BI jest „narzędziem analitycznym”, a kiedy wchodzi w AI
BI pozostaje typowo „narzędziem analitycznym”, gdy:
- przetwarza i prezentuje dane historyczne lub bieżące (descriptive),
- opiera się na jawnych regułach i agregacjach (filtry, segmentacje, miary),
- użytkownik sam interpretuje wyniki, a system nie generuje automatycznych wniosków o osobach/zdarzeniach.
BI zaczyna przypominać „system AI” (lub zawierać komponent AI), gdy pojawiają się funkcje typu:
- predykcja (prognoza popytu, ryzyka, churn),
- klasyfikacja lub scoring (np. „klient wysokiego ryzyka”, „pracownik do awansu”),
- rekomendacja działań (np. „wstrzymaj transakcję”, „odrzuć wniosek”, „podnieś limit”),
- wykrywanie anomalii oparte na uczeniu/statystyce, które prowadzi do decyzji lub działań,
- automatyczne generowanie wniosków (insights) lub narracji, które de facto kierują decyzją.
4.2. Szybkie kryteria rozróżnienia (praktyczne „testy”)
| Kryterium | Typowe BI (poza AI lub minimalny komponent) | BI z komponentem AI (częściej wchodzi w AI Act) |
|---|---|---|
| Rodzaj wyniku | Wykresy, KPI, tabele, agregacje | Prognoza, scoring, rekomendacja, klasyfikacja, „insight” jako wniosek |
| Mechanizm | Reguły, SQL, progi, logika biznesowa | Model (ML/statystyczny), uczenie, optymalizacja, dopasowanie wzorców |
| Stopień automatyzacji | Użytkownik analizuje i decyduje | System sugeruje/priorytetyzuje lub uruchamia działania na podstawie wyniku |
| Obiekt oceny | Produkty, procesy, koszty (zwykle na poziomie zagregowanym) | Osoby, zachowania, ryzyko, wiarygodność, „prawdopodobieństwo X” dla jednostki |
| Skutek dla osoby | Pośredni (informacyjny), mało indywidualny | Bezpośredni (np. dostęp do usługi, selekcja, ocena, ograniczenie) |
4.3. Trzy typowe poziomy ryzyka w BI – przykłady use-case’ów
Poniższe przykłady mają charakter orientacyjny. Kluczowe jest, czy BI wpływa na decyzje o osobach oraz czy występuje automatyczne wnioskowanie (predykcja/rekomendacja/scoring).
4.3.1. Niski (minimalny) – klasyczne raportowanie i analiza opisowa
- Dashboard sprzedażowy: trend przychodów, marża, koszyk, regiony – bez prognoz i bez segmentacji „ryzyka” klientów.
- Analiza kosztów i budżetu: odchylenia vs plan, zestawienia księgowe, analiza wydatków.
- Operacyjne KPI procesu: SLA, liczba zgłoszeń, czas realizacji, obłożenie – bez automatycznych rekomendacji kadrowych.
Wskazówka: jeżeli wynik to wyłącznie „co się wydarzyło / co się dzieje” oraz użytkownik sam wyciąga wnioski, zwykle pozostajemy w klasycznym BI.
4.3.2. Ograniczony – BI z elementami automatyzacji/wnioskowania, ale bez krytycznych skutków dla osób
- Prognoza popytu dla planowania zapasów lub produkcji, bez wpływu na indywidualne prawa/świadczenia osób.
- Wykrywanie anomalii w danych jakości (np. alerty o błędach w integracjach, nietypowe odczyty sensorów) – gdy służy utrzymaniu procesu, nie ocenie ludzi.
- Automatyczne „insights”: system wskazuje czynniki korelujące z wynikiem (np. spadek sprzedaży po zmianie ceny), ale nie tworzy scoringu osób ani nie uruchamia decyzji personalnych/świadczeń.
Typowy punkt zapalny: te same techniki (np. anomaly detection) mogą być „ograniczone” w utrzymaniu danych/procesu, a stać się „wyższe” w ryzyku, jeśli zaczną służyć do flagowania osób (np. „podejrzany klient/pracownik”) z konsekwencjami.
4.3.3. Wysoki – gdy analityka BI staje się narzędziem do podejmowania istotnych decyzji o osobach w obszarach wrażliwych
BI może wejść w „high-risk”, gdy komponent predykcyjny/scoringowy/rekomendacyjny jest wykorzystywany w kontekstach, w których AI Act typowo podnosi poprzeczkę (np. decyzje wpływające na dostęp do usług, zatrudnienie, edukację, ocenę wiarygodności). Przykłady:
- Scoring kandydatów lub ranking CV w procesie rekrutacji, nawet jeśli „wyświetlany” jest w dashboardzie BI.
- Scoring pracowników (wydajność, ryzyko odejścia) używany do decyzji o awansie, zwolnieniu, przydziale zadań lub ocenie okresowej.
- Ocena wiarygodności/ryzyka klienta wpływająca na przyznanie produktu, limitu, ceny, warunków umowy lub dostęp do usługi.
- Automatyczne flagowanie nadużyć prowadzące do blokady konta/transakcji lub odmowy świadczenia – jeśli system działa jako filtr decyzyjny, a człowiek tylko „przyklepuje”.
Praktyczna reguła: jeśli BI nie tylko pokazuje dane, ale przypisuje jednostce ocenę (score/klasa/ryzyko) i ten wynik jest używany do decyzji o istotnych skutkach – to nie jest już „zwykły raport”.
4.4. Najczęstsze „pułapki” klasyfikacyjne w BI
- „To tylko dashboard” – ale dashboard zawiera ranking osób lub rekomendacje działań (np. kogo odrzucić, komu odmówić), generowane przez model.
- Reguły vs model – próg „jeśli X > 100 to alert” to co innego niż model uczący się wzorców i nadający score; oba mogą wyglądać podobnie na ekranie.
- Agregaty maskujące wpływ – nawet gdy prezentacja jest zagregowana, decyzja operacyjna może być podejmowana na poziomie jednostki (np. klienta) na podstawie tego samego mechanizmu.
- „Human in the loop” tylko z nazwy – jeżeli człowiek nie ma realnej możliwości zakwestionowania wyniku (brak wyjaśnień, presja czasu, automatyczne workflow), ryzyko rośnie.
4.5. Minimalne wskazówki projektowe, żeby BI nie „wślizgnęło się” w high-risk przypadkiem
- Oddziel warstwę raportową od warstwy decyzyjnej: raporty KPI ≠ scoring osób.
- Uważaj na etykiety: „risk”, „trust”, „fraud”, „employability” w polach/miarach często sygnalizują decyzje o osobach.
- Kontroluj automatyzację: alert informacyjny to mniej niż automatyczne wstrzymanie procesu lub rekomendacja „odrzuć”.
- Utrzymuj interpretowalność: jeśli wdrażasz model, zadbaj, aby wynik dało się sensownie uzasadnić na poziomie użycia biznesowego (nie tylko metryk modelu).
// Przykład heurystyki klasyfikacyjnej (poglądowo)
if (output in ["KPI","trend","agregacja"] && no_person_level_scoring) {
risk = "niski";
} else if (has_prediction_or_anomaly_detection && impact_is_operational_not_personal) {
risk = "ograniczony";
} else if (scores_or_ranks_people && used_for_access_employment_credit_or_similar) {
risk = "wysoki";
}
5. Kryteria klasyfikacji dla chatbotów i asystentów: ryzyka, obowiązki transparentności i przykłady use-case’ów
Chatboty i asystenci (w tym oparte o modele generatywne) bywają mylące w klasyfikacji na gruncie AI Act, bo ten sam interfejs „czatu” może być: (a) prostym kanałem dostępu do informacji, (b) systemem AI, który wnioskuje i rekomenduje, albo (c) komponentem procesu decyzyjnego o skutkach prawnych. O kategorii ryzyka decyduje nie „technologia czatu”, lecz cel użycia, kontekst wdrożenia i wpływ na osoby (zwłaszcza gdy czat prowadzi do decyzji w obszarach regulowanych).
5.1. Co zwykle przesuwa chatbota w stronę „high-risk”
Najczęstsze czynniki, które podnoszą ryzyko (i mogą wprowadzić rozwiązanie do reżimu „high-risk”), to:
- Udział w podejmowaniu decyzji dotyczących osoby (np. selekcja, ocena, przyznanie/odmowa świadczenia), nawet jeśli formalnie „człowiek zatwierdza”.
- Użycie w obszarach wysokiej wrażliwości (np. zatrudnienie, edukacja, usługi istotne dla życia codziennego, zdrowie) – gdy czat realnie wpływa na wynik procesu.
- Profilowanie i scoring użytkowników (segmentacja ryzyka, ocena wiarygodności, predykcje zachowań) wykorzystywane operacyjnie.
- Automatyzacja ścieżek (np. „jeśli model wykryje X, uruchom procedurę Y”), szczególnie gdy prowadzi to do niekorzystnych skutków dla osoby.
- Duża skala lub systematyczność (wysoki wolumen interakcji, stałe wsparcie procesów masowych) zwiększają ekspozycję na błąd i dyskryminację.
5.2. „Ograniczone ryzyko” i obowiązki transparentności: co musi wiedzieć użytkownik
W wielu wdrożeniach chatbot będzie kwalifikował się jako system o ograniczonym ryzyku, gdzie kluczowe są obowiązki transparentności. W praktyce sprowadza się to do tego, aby użytkownik nie był wprowadzany w błąd co do natury interakcji i pochodzenia treści.
- Ujawnienie, że użytkownik rozmawia z AI (lub że odpowiedzi są generowane/automatyzowane), o ile nie jest to oczywiste z kontekstu.
- Oznaczanie treści generowanych, gdy są prezentowane jako odpowiedzi/komunikaty mogące być odebrane jako „autorskie” człowieka (szczególnie w kanałach zewnętrznych).
- Jasny opis zakresu: do czego chatbot służy, czego nie potrafi, jakie ma źródła wiedzy (np. baza dokumentów vs internet), jakie są ograniczenia aktualności.
- Ścieżka eskalacji do człowieka w sprawach wrażliwych (reklamacje, spory, kwestie prawne/medyczne) jako element minimalizacji ryzyka operacyjnego i reputacyjnego.
Transparentność jest w praktyce najtańszą i najszybszą kontrolką redukującą ryzyko nieporozumień, manipulacji oraz błędnego polegania na odpowiedziach („overreliance”).
5.3. Dodatkowe ryzyka typowe dla chatbotów (nie tylko prawne)
Nawet gdy use-case nie zahacza o „high-risk”, chatboty generatywne mają charakterystyczny profil ryzyka, który warto uwzględnić przy klasyfikacji:
- Halucynacje i konfabulacje: wiarygodnie brzmiące, ale fałszywe informacje; szczególnie groźne w poradach „jak postąpić” (procedury, compliance, bezpieczeństwo).
- Ujawnienie danych: przypadkowe zwrócenie danych wrażliwych z kontekstu rozmowy lub dokumentów (np. przez zbyt szeroki dostęp do repozytoriów).
- Prompt injection i data poisoning: użytkownik może próbować wymusić ujawnienie instrukcji, danych lub obejście zasad; ryzyko rośnie w RAG i narzędziach z akcjami (tool use).
- Manipulacja i wprowadzanie w błąd: styl komunikacji może wywierać presję, sugerować autorytet albo „udawać człowieka”.
- Stronniczość: nierówne traktowanie lub gorsza jakość odpowiedzi dla określonych grup, języków, dialektów, sytuacji życiowych.
5.4. Praktyczne kryteria rozróżnienia: informacja, rekomendacja, decyzja
Wstępnie klasyfikując chatbota, użyteczne jest rozróżnienie trzech poziomów wpływu:
| Poziom wpływu | Co robi chatbot | Typowy profil ryzyka | Przykład |
|---|---|---|---|
| Informacja | Odpowiada na pytania, cytuje/streści dokumenty, przekierowuje do procedur. | Niski do ograniczonego (transparentność + kontrola jakości treści). | Asystent do wyszukiwania w bazie wiedzy i politykach wewnętrznych. |
| Rekomendacja | Sugeruje działania, priorytety, kolejne kroki; może generować gotowe komunikaty. | Ograniczone, czasem podwyższone (ryzyko overreliance, błędów, stronniczości). | Chatbot wspierający konsultanta: proponuje odpowiedź i klasyfikuje temat zgłoszenia. |
| Decyzja / wywołanie skutku | Automatycznie uruchamia proces, zatwierdza/odrzuca, przydziela uprawnienia, kwalifikuje osobę. | Wysokie (często „high-risk”, zależnie od domeny i skutków). | Asystent, który kwalifikuje kandydata i odrzuca aplikacje bez udziału rekrutera. |
5.5. Przykłady use-case’ów i typowa klasyfikacja (orientacyjnie)
Poniższe przykłady pokazują, jak podobny interfejs może mieć różny profil ryzyka w zależności od skutków i kontekstu:
- Niski/ograniczony: chatbot na stronie www odpowiada na FAQ i podaje linki do regulaminów; brak personalizacji i brak podejmowania decyzji.
- Ograniczony: wewnętrzny asystent, który streszcza dokumenty i podpowiada treść e-maila do klienta; człowiek wysyła wiadomość i odpowiada za treść.
- Ograniczony (z podwyższonym naciskiem na kontrolki): chatbot w obsłudze klienta, który zbiera dane i proponuje rozwiązania; eskaluje reklamacje i sprawy sporne do konsultanta.
- Potencjalnie high-risk: asystent HR, który ocenia dopasowanie kandydata, rankinguje CV i rekomenduje odrzucenia lub shortlistę jako element procesu rekrutacji.
- Potencjalnie high-risk: chatbot wspierający decyzje o dostępie do „usług istotnych” (np. kwalifikacja do programu, przyznanie warunków, odmowa) na podstawie danych o osobie.
- Wysokie ryzyko operacyjne (nawet jeśli nie zawsze formalnie „high-risk”): asystent podający instrukcje w obszarach bezpieczeństwa lub zgodności (np. procedury reagowania na incydenty), gdzie błędna odpowiedź może wywołać poważne szkody.
5.6. Minimalne wzorce komunikatów transparentności (przykłady)
Same komunikaty nie rozstrzygają klasy ryzyka, ale są typowym obowiązkiem przy „ograniczonym ryzyku” oraz dobrą praktyką we wdrożeniach wewnętrznych.
To jest asystent oparty o AI. Odpowiedzi mogą zawierać błędy.
W sprawach wymagających decyzji lub interpretacji skonsultuj się z pracownikiem.
Korzystam z: [baza wiedzy / wskazane dokumenty]. Nie mam dostępu do: [np. systemów transakcyjnych].
Nie podawaj danych wrażliwych, jeśli nie jest to konieczne.
W kanałach zewnętrznych warto dodatkowo jasno oznaczyć, kiedy treść jest generowana automatycznie, a kiedy przejmuje ją człowiek (np. „od teraz rozmawiasz z konsultantem”).
6. Wymagane dokumenty, rejestry i kontrolki: co przygotować dla każdej klasy ryzyka (governance, bezpieczeństwo, dane, monitorowanie)
AI Act nie sprowadza się do „etykiety ryzyka” — wymusza dowody: dokumenty, rejestry oraz kontrolki operacyjne, które potwierdzają, że system jest zaprojektowany, wdrożony i nadzorowany adekwatnie do ryzyka. Dla BI i chatbotów kluczowe jest zbudowanie spójnego pakietu: governance (kto i jak decyduje), bezpieczeństwo (jak chronimy rozwiązanie), dane (skąd i na jakich zasadach), monitorowanie (jak wykrywamy i obsługujemy problemy).
6.1. „Pakiet dowodowy” na poziomie organizacji (wspólny fundament)
- Polityka klasyfikacji use-case’ów AI (kiedy uznajemy rozwiązanie za system AI, jak oceniamy ryzyko, progi eskalacji, role i odpowiedzialności).
- Rejestr systemów AI / rejestr use-case’ów (centralna ewidencja: właściciel, cel, kategoria ryzyka, dostawcy, data przeglądu).
- Ramowy model ról: właściciel produktu, właściciel danych, bezpieczeństwo, compliance, IT/ML, audyt wewnętrzny (kto zatwierdza, kto monitoruje, kto reaguje).
- Standard minimalnej dokumentacji (szablony kart systemu, DPIA/ocen wpływu, opisów danych, testów, planów monitoringu).
- Polityka dostawców i zakupów (wymagania na umowy, SLA, prawo audytu, zakres wsparcia, informacje o modelach/funkcjach).
- Procedura incydentów i zgłoszeń (w tym ścieżka dla błędów merytorycznych/hallucynacji, naruszeń bezpieczeństwa i naruszeń praw osób).
6.2. Artefakty per system: co zbierać zawsze
- Karta systemu (System/Use-case Sheet): cel, użytkownicy, kanały, integracje, ograniczenia, tryb działania (asystujący/automatyzujący), opis decyzji wspieranych przez BI/chatbota.
- Mapa danych: źródła, kategorie danych (w tym dane osobowe/wrażliwe), podstawy prawne, okresy retencji, przepływy (wejście/wyjście), miejsca przetwarzania.
- Opis logiki i komponentów: gdzie występuje ML/LLM, reguły, rankingi, rekomendacje, mechanizmy generowania treści, filtry.
- Ocena ryzyk i decyzja klasyfikacyjna: uzasadnienie kategorii ryzyka oraz lista obowiązków wynikających z tej kategorii.
- Kontrolki dostępu: role, uprawnienia, zasady autoryzacji do danych i funkcji, ślad rewizyjny.
- Plan monitoringu i utrzymania: metryki, progi alarmowe, częstotliwość przeglądów, właściciele działań korygujących.
6.3. Różnice wymagań w zależności od klasy ryzyka
| Obszar | Zakazane (prohibited) | Wysokie ryzyko (high-risk) | Ograniczone ryzyko (limited) | Minimalne ryzyko (minimal) |
|---|---|---|---|---|
| Decyzja i governance | Formalna decyzja o zaniechaniu/blokadzie + notatka prawna | Komitet/akceptacja compliance i bezpieczeństwa + przypisanie odpowiedzialności operacyjnej | Akceptacja właściciela produktu + kontrola transparentności i kanału skarg | Rejestracja w ewidencji (opcjonalnie) + podstawowa odpowiedzialność |
| Dokumentacja techniczna | Opis funkcji i powodu zakazu (dowód due diligence) | Pełna dokumentacja wymagana dla oceny zgodności (projekt, dane, testy, ograniczenia) | Opis działania i ograniczeń + instrukcje dla użytkownika | Opis rozwiązania na poziomie architektury i konfiguracji |
| Dane | Dowody, że dane/cele nie wchodzą w zakres praktyk zakazanych | Udokumentowane zarządzanie jakością danych, wersjonowanie, pochodzenie, minimalizacja i testy | Rejestr źródeł + zasady filtrowania treści/wyników, kontrola danych osobowych | Podstawowa mapa danych + retencja |
| Bezpieczeństwo | Kontrola, że rozwiązanie nie zostanie wdrożone | Wymagania bezpieczeństwa „pod audyt”: IAM, hardening, testy, logging, zarządzanie podatnościami | Standardowe kontrolki bezpieczeństwa + ograniczenia dostępu i ochrona promptów/danych | Standardy IT (SSO, aktualizacje, kopie zapasowe) |
| Monitorowanie | N/A (system nie powinien działać) | Monitoring ciągły + rejestry zdarzeń i metryk jakości/bezpieczeństwa, proces CAPA | Monitoring incydentów i jakości odpowiedzi + przeglądy okresowe | Podstawowy monitoring dostępności i błędów |
| Transparentność | N/A | Instrukcje użycia + informacje dla operatorów, procedury dla użytkowników i nadzoru | Obowiązki informacyjne dla użytkownika (np. że rozmawia z AI / treść jest generowana) | Brak szczególnych wymogów poza dobrymi praktykami |
6.4. Dokumenty i rejestry w czterech filarach
6.4.1. Governance (zarządzanie i odpowiedzialność)
- RACI / przypisanie ról dla: właściciela use-case’u, właściciela danych, MLOps/IT, bezpieczeństwa, compliance.
- Rejestr decyzji: klasyfikacja, uzasadnienie, akceptacje, odstępstwa, daty przeglądów.
- Procedura zmian (change management): kiedy zmiana modelu/danych/prompta/integracji wymaga ponownej oceny.
- Umowy i artefakty dostawców: warunki użycia modeli, zakres odpowiedzialności, lokalizacja przetwarzania, wsparcie incydentowe.
6.4.2. Bezpieczeństwo (security)
- Model zagrożeń (w tym specyficzne dla LLM: prompt injection, data exfiltration, jailbreaking, nieautoryzowane narzędzia/akcje).
- Kontrolki IAM: SSO, MFA, RBAC/ABAC, separacja środowisk, zasady dostępu do danych analitycznych.
- Logging i audyt: logi zapytań, odpowiedzi, użytych źródeł, wywołań narzędzi, działań administracyjnych.
- Zarządzanie podatnościami: skany, aktualizacje, SBOM (jeśli dotyczy), procedury łatania.
- Testy bezpieczeństwa: plan i wyniki (np. testy nadużyć, testy uprawnień, testy wycieku danych).
6.4.3. Dane (data governance)
- Rejestr źródeł i transformacji (lineage): skąd dane trafiają do BI/chatbota i jak są przekształcane.
- Ocena legalności i minimalizacji: czy dane są adekwatne do celu, ograniczenia dostępu, retencja.
- Zasady dla danych wrażliwych: maskowanie, pseudonimizacja, blokady w konwersacjach i eksportach.
- Zarządzanie jakością danych: definicje jakości, testy, właściciele atrybutów krytycznych.
- Polityka użycia danych do trenowania (jeśli występuje): opt-in/opt-out, zakres, logika anonimizacji.
6.4.4. Monitorowanie (monitoring i operacje)
- Plan metryk: jakość odpowiedzi/raportów, błędy, pokrycie źródeł, odsetek eskalacji do człowieka, SLA.
- Rejestr incydentów i reklamacji: klasyfikacja, wpływ, działania naprawcze, czas reakcji.
- Mechanizmy „human-in-the-loop” (jeśli dotyczy): kiedy wymagane jest zatwierdzenie, jak dokumentować decyzje.
- Przeglądy okresowe: cykliczne potwierdzanie poprawności klasyfikacji, aktualności danych i skuteczności kontrolek.
6.5. Minimalny zestaw kontrolek „BI + chatboty” (praktyczny baseline)
- Kontrolka zakresu: jasne granice tego, co system może robić (np. chatbot nie wykonuje akcji w systemach bez potwierdzenia).
- Kontrolka źródeł prawdy: preferowanie odpowiedzi opartych o zatwierdzone bazy wiedzy/raporty (dla BI: wersjonowanie miar i definicji KPI).
- Kontrolka ekspozycji danych: filtrowanie wyników po uprawnieniach użytkownika (row-level security, polityki eksportu).
- Kontrolka transparentności: oznaczenie treści generowanych oraz instrukcja bezpiecznego użycia (szczególnie dla chatbotów).
- Kontrolka jakości: testy regresji dla kluczowych zapytań/raportów i scenariuszy dialogowych przed wdrożeniem zmian.
6.6. Krótki przykład formatu rejestru (do wdrożenia w narzędziu GRC/Jira)
Use-case ID: AI-UC-024
Typ: Chatbot (Q&A + generowanie)
Cel: wsparcie pracowników w wyszukiwaniu procedur
Kategoria ryzyka: limited
Źródła danych: zatwierdzona baza wiedzy + intranet (bez danych wrażliwych)
Kontrolki kluczowe: SSO+RBAC, logowanie konwersacji, filtry PII, banner „treść generowana”, eskalacja do człowieka
Właściciel: Product Owner (dział ...)
Przegląd kolejny: 2026-06-30
Akceptacje: Security, Compliance
7. Checklisty praktyczne: dla właściciela produktu oraz dla działu compliance
Poniższe checklisty mają pomóc szybko ocenić, czy dany przypadek użycia analityki BI lub chatbota zbliża się do kategorii „high-risk” oraz jaki minimalny zestaw dowodów warto zebrać, aby uzasadnić klasyfikację i spełnienie obowiązków. Listy są celowo krótkie i nastawione na praktyczne pytania kontrolne.
Checklist dla właściciela produktu (Product Owner / Business Owner)
Cel: upewnić się, że use-case jest dobrze opisany, ma właściwe ograniczenia oraz nie „przemyca” decyzji o istotnym wpływie na ludzi bez odpowiednich zabezpieczeń.
- Jaki jest cel i decyzja biznesowa? Czy system jedynie informuje (insight), czy realnie podejmuje lub wymusza decyzje (np. selekcja, odrzucenie, ranking osób, kwalifikacja do świadczeń)?
- Kto jest użytkownikiem i kto jest podmiotem danych? Czy system dotyczy klientów, pracowników, kandydatów, uczniów, pacjentów lub innych grup, dla których skutki błędu mogą być istotne?
- Jaki jest poziom automatyzacji? Czy jest „człowiek w pętli” z realną możliwością zakwestionowania wyniku i decyzji? Czy człowiek rozumie, co model robi i kiedy może się mylić?
- Czy to jest personalizacja/ocena osoby? Czy system tworzy profil, score, segment „ryzyka”, przewiduje cechy/zdolności lub zachowania jednostki, nawet jeśli w nazwie jest to „analityka” lub „rekomendacja”?
- Jakie dane wchodzą do systemu? Czy używane są dane wrażliwe/szczególne kategorie danych, dane dzieci, dane biometryczne, dane lokalizacyjne, komunikacja, nagrania, logi czatów?
- Czy model jest generatywny i czy może „halucynować”? Jeśli tak, czy odpowiedzi są ograniczone do dozwolonych źródeł i czy jest mechanizm informowania użytkownika o niepewności?
- Czy chatbot może wpływać na decyzje lub zachowanie użytkownika? Czy udziela porad w obszarach wrażliwych (np. zdrowie, finanse, prawo, HR) i czy jest to jasno zakomunikowane jako informacyjne, a nie profesjonalne doradztwo?
- Czy są jasne granice zastosowania (scope)? Co jest poza zakresem (np. brak użycia do oceny pracowników, brak użycia do decyzji kredytowych), i czy to jest wymuszone w produkcie, a nie tylko w prezentacji?
- Jak zarządzane są błędy i eskalacje? Czy użytkownik ma prostą ścieżkę zgłoszenia błędu, odwołania się, uzyskania pomocy człowieka i korekty danych?
- Jak mierzymy jakość i ryzyko? Czy są uzgodnione metryki jakości (dokładność, pokrycie, odsetek odmów/niepewności), metryki bezpieczeństwa oraz progi, po których system jest wyłączany lub ograniczany?
- Czy dostawca/partner jest w łańcuchu? Czy korzystasz z modelu/API zewnętrznego, a jeśli tak, czy znasz ograniczenia licencyjne, miejsce przetwarzania, możliwość trenowania na danych i zasady retencji?
Minimalny zestaw dowodów (Product):
- Jednostronicowy opis use-case’u: cel, użytkownicy, proces decyzyjny, skutki dla osób, poziom automatyzacji.
- Mapa przepływu danych: źródła, typy danych, miejsca przetwarzania, retencja, odbiorcy wyników.
- Opis „guardrails”: ograniczenia funkcji, role i uprawnienia, reguły odcięcia, komunikaty dla użytkownika.
- Zestaw scenariuszy testowych: przypadki brzegowe, błędne dane wejściowe, próby „prompt injection” (dla chatbotów), przykłady niepożądanych odpowiedzi.
- Plan monitorowania: jakie logi zbieramy, jakie alerty, jak często przeglądy jakości i bezpieczeństwa.
- Opis ścieżek eskalacji: kto odpowiada za incydenty, jak wyłączamy funkcję, jak komunikujemy korekty.
Checklist dla działu compliance (prawny / ryzyka / bezpieczeństwo)
Cel: potwierdzić klasyfikację ryzyka, poprawność założeń, minimalne obowiązki oraz kompletność dowodów i kontroli.
- Czy rozwiązanie podpada pod definicję „systemu AI”? Czy występuje komponent uczący się, model predykcyjny/klasyfikacyjny, generatywny lub wnioskowanie wykraczające poza deterministyczne reguły?
- Jaka jest rola organizacji w łańcuchu wartości? Dostawca, wdrażający (deployer), dystrybutor, importer? Czy obowiązki są przypisane właścicielom procesów?
- Czy use-case może wejść w obszary wysokiego ryzyka? Czy dotyczy zatrudnienia, edukacji, usług istotnych, zarządzania pracą, oceny osób, dostępu do usług, bezpieczeństwa, identyfikacji lub nadzoru? (Pytanie ma charakter „czerwonej flagi”).
- Czy jest ryzyko niedozwolonych praktyk? Czy występuje manipulacja, wykorzystywanie podatności, ukryte profilowanie, masowe rozpoznawanie emocji lub inne formy ingerencji w autonomię użytkownika?
- Transparentność wobec użytkownika: Czy użytkownik wie, że rozmawia z botem/korzysta z AI? Czy treści syntetyczne są rozpoznawalne? Czy są jasne ograniczenia i instrukcje bezpiecznego użycia?
- Odpowiedzialność i audytowalność: Czy decyzje i rekomendacje są możliwe do prześledzenia (logi, wersjonowanie modeli, źródła danych, konfiguracje)? Czy jest właściciel ryzyka i akceptacja ryzyka resztkowego?
- Bezpieczeństwo i odporność: Czy oceniono ryzyka nadużyć (prompt injection, data exfiltration, jailbreak, wycieki w logach, nadużycia uprawnień)? Czy są kontrolki dostępu i separacja środowisk?
- Ochrona danych: Czy jest podstawa przetwarzania, minimalizacja, retencja i ograniczenie celu? Czy dane nie są wykorzystywane do trenowania w sposób niezamierzony (zwłaszcza w usługach zewnętrznych)?
- Zarządzanie dostawcą: Czy są ustalone warunki dot. miejsca przetwarzania, podwykonawców, logowania, SLA, wsparcia incydentów, oraz czy dostawca dostarcza informacje potrzebne do oceny ryzyka?
- Gotowość operacyjna: Czy istnieje procedura zgłaszania incydentów, cykl przeglądów, okresowe re-oceny klasyfikacji use-case’u oraz kryteria wycofania/ograniczenia funkcji?
Minimalny zestaw dowodów (Compliance):
- Notatka z klasyfikacji use-case’u: uzasadnienie kategorii ryzyka, granice zastosowania, czerwone flagi i ich wykluczenie/mitigacja.
- Rejestr modeli/komponentów AI: wersje, dostawcy, środowiska, zakres użycia i właściciele.
- Dowody transparentności: treści komunikatów dla użytkownika, instrukcje użycia, disclaimery, zasady oznaczania treści AI.
- Ocena ryzyka i plan kontroli: lista ryzyk, przypisane kontrolki, kryteria akceptacji i ryzyko resztkowe.
- Pakiet dostawcy: kluczowe postanowienia umowne, informacje o przetwarzaniu danych, polityki retencji, opcje wyłączenia trenowania na danych, opis zabezpieczeń.
- Dowody testów i przeglądów: wyniki testów bezpieczeństwa i jakości, protokoły przeglądu promptów/źródeł wiedzy (dla chatbotów), decyzje o wdrożeniu.
- Procedury operacyjne: reakcja na incydenty, zmiany modeli (change management), cykliczne re-oceny, zasady dostępu do logów.
Szybkie „czerwone flagi” (warto zatrzymać wdrożenie i przejść do pogłębionej oceny)
- System ocenia, klasyfikuje lub rankinguje osoby w sposób wpływający na ich szanse (praca, edukacja, świadczenia, dostęp do usług).
- Chatbot udziela instrukcji/porad w wrażliwych obszarach bez wyraźnych ograniczeń i bez mechanizmu eskalacji do człowieka.
- Nie da się odtworzyć, skąd wziął się wynik (brak logów, brak wersjonowania, brak źródeł danych/odpowiedzi).
- Dane wejściowe obejmują szczególne kategorie danych lub dane dzieci bez jednoznacznego uzasadnienia i ograniczeń.
- Brak kontroli nad tym, czy dane trafiają do zewnętrznego dostawcy i czy mogą zostać użyte do trenowania.
- Wynik modelu jest traktowany jako „prawda” i automatycznie wykonuje akcje bez realnej weryfikacji.
8. Wdrożenie krok po kroku: plan 2–6 tygodni, pilotaż, skalowanie i typowe pułapki
Wdrożenie rozwiązań BI i chatbotów w realiach AI Act warto prowadzić jak projekt produktowo-compliance’owy, a nie wyłącznie techniczny. Celem jest szybkie uruchomienie wartościowego pilotażu, ale przy jednoczesnym ustawieniu minimalnych kontroli: jasnego opisu przypadków użycia, granic zastosowania, zasad pracy na danych, monitorowania oraz ścieżki reakcji na incydenty. Największy błąd to budowanie „na ślepo” i dopiero na końcu próba dopasowania się do klasy ryzyka.
Plan 2–6 tygodni: od zera do kontrolowanego pilotażu
Poniższy plan zakłada, że organizacja ma już wstępnie wybrany przypadek użycia (BI lub chatbot) oraz właściciela biznesowego. Harmonogram jest elastyczny: przy prostych wdrożeniach można zamknąć się w 2–3 tygodnie, przy większej liczbie systemów i źródeł danych realne jest 4–6 tygodni.
- Tydzień 1: Ustalenie zakresu i „kontraktu” na use-case
Zacznij od jednoznacznego zdefiniowania: kto jest użytkownikiem, jakie decyzje będą podejmowane na podstawie wyniku, jakie są wyjścia systemu (rekomendacja, ranking, odpowiedź tekstowa, dashboard), oraz jakie są granice użycia (czego system nie robi). Już na tym etapie warto ustalić, czy rozwiązanie ma być wyłącznie wspierające (human-in-the-loop) i jakie decyzje pozostają formalnie po stronie człowieka. Równolegle wyznacz właścicieli: produkt, dane/IT, bezpieczeństwo, compliance/prawny.
- Tydzień 2: Minimalny przegląd danych i architektury pod kątem ryzyk
W praktyce najwięcej problemów wynika z danych: niejawne użycie danych wrażliwych, brak kontroli nad źródłami, niejasne retencje, logowanie promptów, czy „wycieki” danych przez integracje. Ustal, skąd pochodzą dane wejściowe, gdzie są przetwarzane, kto ma dostęp, jak długo dane są przechowywane oraz jak realizuje się usuwanie. Dla chatbotów doprecyzuj, czy odpowiedzi są generowane z wiedzy modelu, z firmowych dokumentów (RAG), czy z systemów transakcyjnych; dla BI – czy mamy do czynienia z prostą agregacją, czy z elementami predykcji/segmentacji i automatycznego profilowania.
- Tydzień 3: Kontrolki „must-have” przed pilotażem
Ustal minimalny zestaw zabezpieczeń i zasad użycia, zanim system trafi do użytkowników. Dla chatbotów krytyczne są: komunikaty transparentności (że użytkownik wchodzi w interakcję z AI), ograniczenia tematyczne, obsługa pytań poza zakresem oraz mechanizmy ograniczające halucynacje (np. odwołania do źródeł w odpowiedziach, gdy to ma sens). Dla BI typowe kontrolki to: wersjonowanie metryk i definicji KPI, kontrola jakości danych oraz ograniczenie „kopiuj-wklej” wyników bez kontekstu. W obu przypadkach zaplanuj monitoring błędów i kanał zgłaszania incydentów.
- Tydzień 4: Pilotaż z ograniczoną grupą i miernikami ryzyka
Pilotaż powinien mieć mały zakres, ale wysoką obserwowalność. Zdefiniuj metryki sukcesu (czas, jakość odpowiedzi, adopcja) oraz metryki ryzyka (liczba przypadków poza zakresem, błędne odpowiedzi, potencjalne ujawnienia danych, skargi użytkowników). Zapewnij szybki proces wycofania funkcji lub ograniczenia dostępu, jeśli pojawi się niepożądane zachowanie systemu. W pilotażu ważniejsza jest jakość informacji zwrotnej i kontrola ryzyk niż „pełne pokrycie” przypadków biznesowych.
- Tydzień 5–6: Uszczelnienie, decyzja o skalowaniu i „produktyzacja” kontroli
Po pilotażu zaktualizuj zakres, instrukcje dla użytkowników, zestaw blokad oraz integracje danych. Dopiero potem podejmij decyzję o skalowaniu: do jakich zespołów, procesów i systemów można rozszerzyć rozwiązanie bez skokowego wzrostu ryzyka. Warto „produktyzować” kontrolki, czyli przenieść je z jednorazowych ustaleń do stałych mechanizmów: przeglądy zmian, akceptacje integracji, cykliczne testy jakości, monitoring i raportowanie.
Pilotaż: jak go zaprojektować, żeby nie wpaść w pułapki klasyfikacji
Pilotaż bywa momentem, w którym nieświadomie zmienia się charakter systemu. Najczęściej dzieje się to poprzez: rozszerzenie zastosowania na decyzje o skutkach prawnych lub podobnie istotnych, dołączenie nowych źródeł danych (zwłaszcza HR/finansowych/zdrowotnych), albo automatyzację działań bez realnej kontroli człowieka. Dlatego pilotaż powinien mieć jasno określone ograniczenia i „bezpieczniki”:
- Ogranicz kanały i użytkowników – mniejsza grupa, łatwiejsze egzekwowanie zasad i szybka reakcja.
- Ustal listę „dozwolone/zakazane” – jakie pytania i decyzje są poza zakresem oraz jak system ma to komunikować.
- Wymuś kontekst i ścieżkę eskalacji – kiedy użytkownik ma zweryfikować wynik, a kiedy przekazać sprawę człowiekowi.
- Zapewnij obserwowalność – logi, wskaźniki, próbki do oceny jakości; bez tego ryzyka są niewidoczne.
- Wprowadź kontrolę zmian – aktualizacja modelu, promptów, dokumentów źródłowych czy definicji KPI nie może być „cichą zmianą”.
Skalowanie: jak rosnąć bez wzrostu ryzyka w tym samym tempie
Skalowanie najczęściej wykoleja się, gdy organizacja traktuje kolejne wdrożenia jako identyczne kopie pilotażu. W praktyce każdy nowy dział, region, język, integracja lub proces decyzyjny zmienia profil ryzyka. Żeby skalować bez chaosu:
- Stwórz katalog use-case’ów – krótki opis celu, danych, użytkowników, ograniczeń i odpowiedzialności dla każdego zastosowania.
- Standaryzuj „pakiet startowy” – minimalne zasady użycia, komunikaty dla użytkownika, ścieżki eskalacji, wymagania dot. danych i monitoringu.
- Segmentuj wdrożenia – inne podejście dla narzędzi analitycznych, inne dla chatbotów, a jeszcze inne dla rozwiązań wspierających decyzje w procesach wrażliwych.
- Utrzymuj spójność definicji – szczególnie w BI: to, co wygląda jak „ten sam KPI”, w praktyce bywa liczone inaczej w różnych zespołach, co generuje błędne wnioski.
- Zaplanuj cykl życia – przeglądy okresowe, wycofywanie funkcji, aktualizacje i komunikację zmian do użytkowników.
Typowe pułapki (i jak ich uniknąć)
- „To tylko dashboard / to tylko chatbot”
Minimalizowanie złożoności prowadzi do pominięcia krytycznych elementów: danych źródłowych, wpływu na decyzje i realnych zachowań użytkowników. Unikaj tego, opisując zawsze: kto używa, do czego i jakie są skutki błędu.
- Rozszerzanie zakresu bez aktualizacji założeń
Pilot miał wspierać pracę, a po miesiącu staje się narzędziem do oceny pracowników lub selekcji klientów. Wprowadź zasadę, że każda zmiana procesu decyzyjnego lub danych wymaga ponownej oceny ryzyk i akceptacji właścicieli.
- Nieformalna automatyzacja
Nawet jeśli system „formalnie” tylko podpowiada, użytkownicy mogą traktować wynik jako decyzję. Ogranicz to poprzez instrukcje, szkolenia użytkowników, wymaganie uzasadnień, a w krytycznych miejscach – wymuszenie dodatkowej weryfikacji.
- Brak granic danych i niekontrolowane logowanie
Chatboty często zbierają treść rozmów, a BI bywa zasilane „wszystkim, co się da”. Ustal zasady: jakie dane wolno wprowadzać, jakie wolno pobierać, jak długo przechowywać, kto ma dostęp.
- „Shadow AI” i obejścia procesów
Gdy oficjalne narzędzie jest zbyt wolne lub zbyt restrykcyjne, zespoły używają prywatnych rozwiązań. Zapewnij szybki, prosty proces uruchamiania zatwierdzonych use-case’ów i jasne zasady dopuszczalnych narzędzi.
- Brak monitoringu jakości i dryfu
Model, dane i kontekst biznesowy się zmieniają. Bez monitoringu rośnie liczba błędów, a organizacja dowiaduje się o problemie dopiero z incydentu. Ustal minimalne wskaźniki i cykliczne przeglądy.
- Niejasna odpowiedzialność
Jeśli „wszyscy są właścicielami”, to nikt nie podejmuje decyzji o ograniczeniach, wycofaniu czy korektach. Wskaż właściciela produktu i osoby odpowiedzialne za dane, bezpieczeństwo i zgodność oraz ich uprawnienia decyzyjne.
Wdrożenie zgodne z AI Act nie musi blokować innowacji, ale wymaga dyscypliny: jasnego zakresu, kontroli danych, transparentności wobec użytkownika i praktycznego monitoringu. Najlepsze efekty daje podejście iteracyjne: mały pilotaż, szybkie wnioski, a następnie skalowanie oparte na standaryzowanych kontrolkach i świadomie zarządzanych zmianach.
Jeśli chcesz poznać więcej takich przykładów, zapraszamy na szkolenia Cognity, gdzie rozwijamy ten temat w praktyce.