Kurs AI w procesie wytwarzania oprogramowania – Code Governance, testowanie i bezpieczne wykorzystanie sztucznej inteligencji

1. Wprowadzenie do AI w procesie wytwarzania oprogramowania

• rola sztucznej inteligencji w nowoczesnym Software Development,
• wykorzystanie AI na poszczególnych etapach cyklu życia oprogramowania (SDLC),
• AI-assisted Development – możliwości i ograniczenia,
• przegląd narzędzi wspierających programowanie: GitHub Copilot, ChatGPT, Claude Code, Cursor,
• integracja narzędzi AI ze środowiskami programistycznymi,
• korzyści i zagrożenia wynikające z automatyzacji tworzenia kodu.

2. AI Code Governance – zarządzanie wykorzystaniem AI w programowaniu

• podstawowe zasady AI Code Governance,
• tworzenie polityk i standardów wykorzystania AI w zespołach IT,
• określanie dopuszczalnych zastosowań narzędzi AI,
• odpowiedzialność za kod wygenerowany przez sztuczną inteligencję,
• zasady nadzoru nad procesem generowania i modyfikowania kodu,
• dokumentowanie wykorzystania AI w projektach informatycznych,
• kontrola jakości i zgodności kodu ze standardami organizacji,
• zarządzanie dostępem do narzędzi i modeli AI,
• audytowanie wykorzystania AI w procesach programistycznych.

3. Bezpieczeństwo kodu generowanego przez AI

• najczęstsze zagrożenia związane z kodem generowanym przez AI,
• identyfikacja podatności bezpieczeństwa w kodzie,
• wykrywanie niebezpiecznych bibliotek i zależności,
• ryzyko generowania kodu niezgodnego z dobrymi praktykami bezpieczeństwa,
• ochrona kodu źródłowego i informacji poufnych,
• bezpieczne przekazywanie danych i fragmentów kodu do modeli AI,
• zarządzanie sekretami, tokenami i kluczami API,
• wykorzystanie standardów OWASP w ocenie bezpieczeństwa,
• analiza ryzyka związanego z wykorzystaniem zewnętrznych modeli AI.

4. Testowanie i weryfikacja kodu generowanego przez AI

• metody oceny poprawności kodu wygenerowanego przez AI,
• Code Review wspomagany sztuczną inteligencją,
• wykrywanie błędów logicznych, składniowych i architektonicznych,
• testy jednostkowe (Unit Testing),
• testy integracyjne (Integration Testing),
• testy regresyjne i automatyzacja kontroli jakości,
• generowanie scenariuszy i przypadków testowych z wykorzystaniem AI,
• weryfikacja pokrycia kodu testami,
• analiza jakości, wydajności i utrzymywalności kodu,
• wykrywanie halucynacji i nieprawidłowych sugestii modeli AI.

5. Testowanie aplikacji i systemów wykorzystujących AI

• specyfika testowania aplikacji opartych na modelach językowych (LLM),
• testowanie jakości i poprawności odpowiedzi modeli AI,
• metody oceny skuteczności rozwiązań AI (AI Evaluation),
• testowanie niezawodności i powtarzalności działania modeli,
• weryfikacja działania systemów RAG,
• testowanie integracji modeli AI z aplikacjami i bazami danych,
• wykrywanie halucynacji i błędów interpretacji danych,
• testy odporności na Prompt Injection,
• testowanie bezpieczeństwa interfejsów API,
• monitorowanie jakości działania rozwiązań AI po wdrożeniu.

6. Automatyzacja procesów programistycznych z wykorzystaniem AI

• wykorzystanie AI do generowania i refaktoryzacji kodu,
• automatyzacja analizy wymagań technicznych,
• generowanie dokumentacji technicznej,
• wspomaganie wykrywania i usuwania błędów (Debugging),
• automatyzacja tworzenia testów i raportów jakości,
• wykorzystanie AI w procesach Continuous Integration i Continuous Deployment (CI/CD),
• integracja analizy bezpieczeństwa z procesem wdrażania oprogramowania,
• wykorzystanie AI w zarządzaniu długiem technologicznym,
• kontrola zmian w kodzie generowanym i modyfikowanym przez AI.

7. Odpowiedzialne wykorzystanie AI – regulacje, zgodność i etyka

• podstawy Responsible AI w projektach informatycznych,
• wymagania AI Act w kontekście tworzenia i wdrażania systemów AI,
• ochrona danych osobowych i zgodność z RODO,
• prawa autorskie i własność intelektualna kodu generowanego przez AI,
• zasady korzystania z komponentów open source,
• ryzyko naruszenia licencji oprogramowania,
• transparentność i możliwość wyjaśnienia działania rozwiązań AI,
• nadzór człowieka nad decyzjami i rezultatami generowanymi przez AI,
• dokumentowanie zgodności i zarządzanie ryzykiem regulacyjnym.

8. AI Security – zagrożenia i zabezpieczanie systemów opartych na AI

• specyfika cyberbezpieczeństwa systemów wykorzystujących AI,
• Prompt Injection i manipulowanie instrukcjami modeli,
• Data Leakage – ryzyko nieuprawnionego ujawniania danych,
• Model Poisoning i zagrożenia związane z danymi treningowymi,
• nieautoryzowany dostęp do narzędzi i agentów AI,
• zabezpieczanie integracji z zewnętrznymi usługami AI,
• zarządzanie uprawnieniami i ograniczanie dostępu do zasobów,
• monitorowanie incydentów bezpieczeństwa,
• procedury reagowania na zagrożenia związane z AI.

9. Wdrażanie standardów AI Governance w zespołach technologicznych

• opracowanie wewnętrznych zasad korzystania z AI,
• definiowanie ról i odpowiedzialności w zespołach programistycznych,
• tworzenie procedur weryfikacji kodu generowanego przez AI,
• wprowadzenie standardów AI Code Review,
• ustalanie kryteriów akceptacji kodu wspomaganego przez AI,
• budowanie list kontrolnych bezpieczeństwa i jakości,
• integracja zasad AI Governance z istniejącymi procesami DevOps,
• monitorowanie zgodności z wewnętrznymi standardami,
• mierzenie jakości i efektywności wykorzystania AI.

10. Dobre praktyki i kierunki rozwoju AI w Software Engineering

• Model Human-in-the-Loop w procesie programowania,
• ograniczanie ryzyka nadmiernego polegania na kodzie generowanym przez AI,
• zachowanie kontroli nad architekturą i jakością oprogramowania,
• bezpieczne wdrażanie agentów AI realizujących zadania programistyczne,
• zarządzanie uprawnieniami autonomicznych agentów programistycznych,
• weryfikacja efektów pracy agentów AI,
• skalowanie wykorzystania AI w zespołach developerskich,
• rozwijanie kompetencji zespołów w zakresie bezpiecznego AI-assisted Development,
• najważniejsze rekomendacje dotyczące wdrożenia AI Code Governance w organizacji.