Kurs Hakowanie sztucznej inteligencji – Prompt Injection, Jailbreaking i AI Red Teaming

Proces szkoleniowy

Analiza potrzeb szkoleniowych

Jeśli masz życzenie dotyczące programu szkolenia, przeprowadzimy dla Ciebie analizę potrzeb szkoleniowych, która będzie wskazówką dla nas, na jakie aspekty programu położyć większy nacisk – tak, by program szkolenia spełniał konkretne potrzeby.

Co zyskujesz?

Zrozumiesz architekturę AI - Zobaczysz, jak są zbudowane aplikacje oparte na LLM, RAG i agentach AI, dzięki czemu łatwiej rozpoznasz granice zaufania, powierzchnię ataku i miejsca powstawania ryzyka.

Wykryjesz Prompt Injection - Nauczysz się rozpoznawać ataki direct i indirect prompt injection oraz testować, czy model wykonuje nieautoryzowane instrukcje ukryte w wiadomościach, dokumentach i stronach.

Oceniasz odporność na jailbreaking - Przećwiczysz techniki obchodzenia ograniczeń modeli i nauczysz się oceniać, które zabezpieczenia faktycznie działają, a które dają tylko pozorne poczucie bezpieczeństwa.

Ograniczysz wycieki danych - Dowiesz się, jak sprawdzać ryzyko ujawniania danych wrażliwych, promptów systemowych, historii rozmów i sekretów technicznych oraz jak zmniejszać zakres takich wycieków.

Zabezpieczysz systemy RAG - Poznasz typowe ataki na dokumenty, źródła wiedzy i bazy wektorowe, więc będziesz umieć wykrywać zatrucie danych, błędne uprawnienia i manipulację wynikami wyszukiwania.

Lepiej ochronisz agentów AI - Nauczysz się identyfikować ryzyko nadmiernych uprawnień, nieautoryzowanych wywołań narzędzi i niebezpiecznych integracji, zanim agent wykona kosztowną lub szkodliwą operację.

Przeprowadzisz AI Red Teaming - Ułożysz własne scenariusze testowe dla chatbotów i aplikacji LLM, sklasyfikujesz podatności według OWASP i przygotujesz wyniki, które da się wykorzystać w realnym audycie.

Wdrozysz skuteczne zabezpieczenia - Poznasz praktyczne mechanizmy ochronne, takie jak guardrails, walidacja wejścia i wyjścia, kontrola uprawnień oraz monitoring incydentów i nadużyć w systemach AI.

Program szkolenia

1. Bezpieczeństwo sztucznej inteligencji – architektura i zagrożenia

podstawy działania modeli językowych LLM,
architektura aplikacji wykorzystujących generatywną AI,
modele bazowe, chatboty, agenci AI i systemy RAG,
granice zaufania między użytkownikiem, modelem a aplikacją,
najważniejsze zagrożenia dla systemów opartych na AI,
różnice między tradycyjnym hakowaniem aplikacji a LLM Hacking,
podstawy AI Red Teamingu i testów odporności modeli,
OWASP Top 10 for LLM Applications i MITRE ATLAS.

2. Prompt Injection – manipulowanie zachowaniem modeli AI

mechanizm działania Prompt Injection,
Direct Prompt Injection – ataki bezpośrednie,
Indirect Prompt Injection – ataki przez zewnętrzne źródła danych,
manipulowanie hierarchią instrukcji modelu,
wstrzykiwanie instrukcji przez dokumenty, wiadomości i strony internetowe,
ataki wykorzystujące kontekst rozmowy,
manipulowanie odpowiedziami chatbotów,
testowanie odporności modeli na nieautoryzowane instrukcje,
wykrywanie i ograniczanie skutków Prompt Injection.

3. Jailbreaking – obchodzenie ograniczeń modeli językowych

czym jest Jailbreaking i czym różni się od Prompt Injection,
mechanizmy bezpieczeństwa i ograniczenia modeli LLM,
manipulowanie rolami i kontekstem konwersacji,
techniki odgrywania ról i zmiany kontekstu,
wieloetapowe próby obchodzenia ograniczeń,
ataki wykorzystujące wielojęzyczność i niejednoznaczność instrukcji,
ocena skuteczności zabezpieczeń modeli,
metody wzmacniania odporności aplikacji na Jailbreaking.

4. Wycieki danych i ujawnianie informacji przez AI

Sensitive Information Disclosure – ujawnianie danych wrażliwych,
System Prompt Leakage – ujawnianie instrukcji systemowych,
zagrożenia związane z historią konwersacji i pamięcią aplikacji,
bezpieczeństwo danych osobowych i informacji firmowych,
nieautoryzowany dostęp do dokumentów i źródeł wiedzy,
ryzyko ujawniania kluczy API i danych uwierzytelniających,
testowanie izolacji danych między użytkownikami,
kontrola dostępu i minimalizacja przekazywanych danych,
wykrywanie oraz ograniczanie wycieków informacji.

5. Bezpieczeństwo aplikacji RAG i baz wiedzy AI

architektura Retrieval-Augmented Generation,
zagrożenia związane z pobieraniem danych z zewnętrznych źródeł,
Prompt Injection w dokumentach wykorzystywanych przez RAG,
zatruwanie danych i źródeł wiedzy,
manipulowanie treścią dokumentów i wynikami wyszukiwania,
podatności baz wektorowych i mechanizmów embeddingów,
kontrola uprawnień do dokumentów i fragmentów danych,
testowanie poprawności odpowiedzi generowanych na podstawie źródeł,
zabezpieczanie procesu indeksowania i pobierania informacji.

6. Hakowanie i zabezpieczanie agentów AI

architektura agentów AI i mechanizmy podejmowania działań,
integracje modeli LLM z narzędziami i zewnętrznymi API,
zagrożenia związane z autonomicznym wykonywaniem operacji,
Excessive Agency – nadmierne uprawnienia agentów,
przejmowanie i manipulowanie przepływem zadań,
nieautoryzowane wywoływanie funkcji i narzędzi,
bezpieczeństwo integracji agentów z bazami danych i plikami,
zagrożenia związane z komunikacją między agentami,
ograniczanie uprawnień i stosowanie zasady najmniejszych uprawnień,
nadzór człowieka nad operacjami wysokiego ryzyka.

7. Testowanie bezpieczeństwa aplikacji LLM

planowanie testów bezpieczeństwa systemów AI,
tworzenie scenariuszy AI Red Teamingu,
przygotowywanie zestawów testowych Prompt Injection,
testowanie odporności na ujawnianie informacji,
testowanie bezpieczeństwa odpowiedzi generowanych przez AI,
wykrywanie niebezpiecznych operacji inicjowanych przez modele,
testowanie mechanizmów autoryzacji i kontroli dostępu,
wykorzystanie narzędzi automatyzujących testy LLM,
analiza wyników i klasyfikacja wykrytych podatności.

8. Mechanizmy zabezpieczania systemów AI

projektowanie bezpiecznej architektury aplikacji LLM,
rozdzielanie instrukcji systemowych od niezaufanych danych,
walidacja danych wejściowych i wyjściowych modeli,
stosowanie mechanizmów Guardrails,
kontrola uprawnień użytkowników i agentów,
zabezpieczanie integracji API i zewnętrznych narzędzi,
filtrowanie oraz monitorowanie niebezpiecznych operacji,
ograniczanie dostępu do poufnych danych,
zarządzanie limitami zapytań i kosztami wykorzystania modeli,
ochrona przed niekontrolowanym zużyciem zasobów,
monitorowanie incydentów bezpieczeństwa AI.

9. AI Red Teaming – audyt odporności systemów AI

metodyka przeprowadzania testów Red Teaming dla AI,
modelowanie zagrożeń dla chatbotów i agentów,
identyfikacja powierzchni ataku systemów LLM,
przygotowywanie scenariuszy testowych,
analiza skuteczności mechanizmów ochrony,
klasyfikacja podatności zgodnie z OWASP Top 10 for LLM Applications,
dokumentowanie wykrytych słabości,
opracowanie rekomendacji bezpieczeństwa,
tworzenie planu wzmacniania odporności systemów AI,
ciągłe testowanie bezpieczeństwa po aktualizacji modeli i aplikacji.

Jakie są wymagania wstępne do udziału w szkoleniu?

Podstawy aplikacji webowych - Powinieneś rozumieć, jak działa typowa aplikacja webowa, w tym żądania, odpowiedzi, API i role użytkowników, aby swobodnie analizować architekturę systemów z AI.

Znajomość bezpieczeństwa IT - Powinieneś znać podstawowe pojęcia bezpieczeństwa, takie jak uwierzytelnianie, autoryzacja, kontrola dostępu i podatność, bo szkolenie rozwija je w kontekście systemów AI.

Orientacja w danych i API - Powinieneś mieć doświadczenie w pracy z danymi, dokumentami lub API, aby łatwo zrozumieć zagrożenia związane z RAG, integracjami narzędzi i przepływem informacji.

Praktyka technicznej analizy - Powinieneś czuć się swobodnie podczas analizy komunikatów, logiki działania i konfiguracji systemów, ponieważ szkolenie obejmuje testowanie i ocenę realnych scenariuszy.