OWASP GenAI Security - Plan Szkolenia

Dzień 1: Fundamenty i kluczowe zagrożenia

Moduł 1: Wprowadzenie do projektu OWASP GenAI Security (1 godzina)

Cele edukacyjne:

• Zrozumienie ewolucji od OWASP Top 10 do wyzwań bezpieczeństwa specyficznych dla GenAI
• Zapoznanie się z ekosystemem i zasobami projektu OWASP GenAI Security
• Identyfikacja kluczowych różnic między tradycyjnym bezpieczeństwem aplikacji a bezpieczeństwem AI

Omawiane tematy:

• Przegląd misji i zakresu projektu OWASP GenAI Security
• Wprowadzenie do ramy Threat Defense COMPASS
• Zrozumienie otoczenia bezpieczeństwa AI i wymagań regulacyjnych
• Powierzchnie ataku AI w porównaniu z lukami w tradycyjnych aplikacjach webowych

Ćwiczenie praktyczne: Konfiguracja narzędzia OWASP Threat Defense COMPASS i przeprowadzenie wstępnej oceny zagrożeń

Moduł 2: OWASP Top 10 dla LLM – Część 1 (2,5 godziny)

Cele edukacyjne:

• Opanowanie pięciu kluczowych luk bezpieczeństwa w LLM
• Zrozumienie wektorów ataku i technik eksploatacji
• Stosowanie praktycznych strategii mitygacji

Omawiane tematy:

LLM01: Iniekcja promptów (Prompt Injection)

• Techniki bezpośredniej i pośredniej iniekcji promptów
• Ataki ukrytymi instrukcjami i krzyżowa kontaminacja promptów
• Praktyczne przykłady: łamanie (jailbreaking) czatbotów i omijanie środków bezpieczeństwa
• Strategie obronne: walidacja danych wejściowych, filtrowanie promptów, prywatność różnicowa

LLM02: Wyciek poufnych informacji

• Ekstrakcja danych treningowych i wyciek systemowych promptów
• Analiza zachowań modelu pod kątem ekspozycji poufnych informacji
• Konsekwencje prywatności i zagadnienia zgodności regulacyjnej
• Mitygacja: filtrowanie wyników, kontrola dostępu, anonimizacja danych

LLM03: Luk bezpieczeństwa w łańcuchu dostaw

• Zależności od modeli stron trzecich i bezpieczeństwo wtyczek
• Szkodzone zestawy danych treningowych i zatruwanie modeli
• Ocena ryzyka dostawców komponentów AI
• Bezpieczne wdrażanie i weryfikacja modeli

Ćwiczenie praktyczne: Laboratorium rąk-od-ręki demonstrujące ataki iniekcji promptów na podatne aplikacje LLM i wdrażanie środków obronnych

Moduł 3: OWASP Top 10 dla LLM – Część 2 (2 godziny)

Omawiane tematy:

LLM04: Zatruwanie danych i modeli

• Techniki manipulacji danymi treningowymi
• Modifikacja zachowań modelu poprzez zatruwane dane wejściowe
• Ataki tylnymi drzwiami (backdoor) i weryfikacja integralności danych
• Prewencja: potoki walidacji danych, śledzenie pochodzenia (provenance tracking)

LLM05: Nieprawidłowe przetwarzanie wyjściowe

• Niebezpieczna obróbka treści generowanych przez LLM
• Iniekcja kodu poprzez generowane przez AI wyniki
• Ataki Cross-site scripting (XSS) przez odpowiedzi AI
• Ramy walidacji i sterylizacji wyjść

Ćwiczenie praktyczne: Symulacja ataków zatruwania danych i implementacja solidnych mechanizmów walidacji wyjść

Moduł 4: Zaawansowane zagrożenia dla LLM (1,5 godziny)

Omawiane tematy:

LLM06: Nadmierna autonomia (Excessive Agency)

• Ryzyko autonomijnego podejmowania decyzji i naruszanie granic
• Autorytet agentów i zarządzanie uprawnieniami
• Nieprzewidziane interakcje systemowe i eskalacja uprawnień
• Implementowanie barier (guardrails) i kontroli nadzoru ludzkiego

LLM07: Wyciek systemowych promptów

• Luki bezpieczeństwa przy ekspozycji instrukcji systemowych
• Wyciek poświadczeń i logiki przez prompty
• Techniki ataku na ekstrakcję systemowych promptów
• Bezpieczeństwo instrukcji systemowych i konfiguracji zewnętrznej

Ćwiczenie praktyczne: Projektowanie bezpiecznych architektur agentów z odpowiednimi kontrolami dostępu i monitorowaniem

Dzień 2: Zaawansowane zagrożenia i implementacja

Moduł 5: Rosnące zagrożenia dla AI (2 godziny)

Cele edukacyjne:

• Zrozumienie najnowocześniejszych zagrożeń bezpieczeństwa AI
• Implementacja zaawansowanych technik detekcji i zapobiegania
• Projektowanie odpornych systemów AI na skomplikowane ataki

Omawiane tematy:

LLM08: Słabości wektorowe i osadzeniowe (Vector and Embedding Weaknesses)

• Luki bezpieczeństwa w systemach RAG i bazach danych wektorowych
• Zatruwanie osadzeń (embedding poisoning) i ataki manipulacji podobieństwem
• Przeciwnicze przykłady w wyszukiwaniu semantycznym
• Bezpieczeństwo magazynów wektorowych i implementacja detekcji anomalii

LLM09: Dezinformacja i wiarygodność modeli

• Detekcja i mitygacja halucynacji
• Amplicacja biasu i kwestie sprawiedliwości
• Mechanizmy fact-checking i weryfikacji źródeł
• Walidacja treści i integracja nadzoru ludzkiego

LLM10: Niekontrolowane zużycie (Unbounded Consumption)

• Strategie limitowania przepustowości i zarządzania zasobami
• Optymalizacja kosztów i kontrole budżetowe
• Systemy monitorowania wydajności i alerty

Ćwiczenie praktyczne: Budowanie bezpiecznego potoku RAG z ochroną bazy danych wektorowych i detekcją halucynacji

Moduł 6: Bezpieczeństwo Agentic AI (2 godziny)

Cele edukacyjne:

• Zrozumienie unikalnych wyzwań bezpieczeństwa autonomicznych agentów AI
• Stosowanie taksonomii OWASP Agentic AI do rzeczywistych systemów
• Implementacja kontroli bezpieczeństwa w środowiskach multi-agentowych

Omawiane tematy:

• Wprowadzenie do Agentic AI i systemów autonomicznych
• Taksonomia zagrożeń OWASP Agentic AI: Projektowanie agentów, Pamięć, Planowanie, Użycie narzędzi, Wdrożenie
• Bezpieczeństwo systemów multi-agentowych i ryzyka koordynacji
• Nieprawidłowe użycie narzędzi, zatruwanie pamięci i ataki przejęcia celów (goal hijacking)
• Bezpieczeństwo komunikacji i procesów decyzyjnych agentów

Ćwiczenie praktyczne: Ćwiczenie modelowania zagrożeń z użyciem taksonomii OWASP Agentic AI na przykładzie multi-agentowego systemu obsługi klienta

Moduł 7: Implementacja OWASP Threat Defense COMPASS (2 godziny)

Cele edukacyjne:

• Opanowanie praktycznego zastosowania Threat Defense COMPASS
• Integracja oceny zagrożeń AI z organizacyjnymi programami bezpieczeństwa
• Rozwijanie kompleksowych strategii zarządzania ryzykiem AI

Omawiane tematy:

• Pogłębiona analiza metodologii Threat Defense COMPASS
• Integracja z Pętlą OODA: Obserwuj, Orientuj, Decyduj, Działaj
• Mapowanie zagrożeń na ramy MITRE ATT&CK i ATLAS
• Budowanie tablic (dashboards) strategii odporności na zagrożenia AI
• Integracja z istniejącymi narzędziami i procesami bezpieczeństwa

Ćwiczenie praktyczne: Kompleksowa ocena zagrożeń z użyciem COMPASS dla scenariusza wdrożenia Microsoft Copilot

Moduł 8: Praktyczna implementacja i najlepsze praktyki (2,5 godziny)

Cele edukacyjne:

• Projektowanie bezpiecznych architektur AI od podstaw
• Implementacja monitorowania i reagowania na incydenty dla systemów AI
• Tworzenie ram zarządzania (governance frameworks) dla bezpieczeństwa AI

Omawiane tematy:

Bezpieczny cykl życia rozwoju AI:

• Zasady bezpieczeństwa projektowego (security-by-design) dla aplikacji AI
• Praktyki przeglądu kodu dla integracji LLM
• Metodologie testowania i skanowania luk bezpieczeństwa
• Bezpieczeństwo wdrożenia i hardening produkcji

Monitorowanie i detekcja:

• Specyficzne dla AI wymagania dotyczące logowania i monitorowania
• Detekcja anomalii w systemach AI
• Procedury reagowania na incydenty bezpieczeństwa AI
• Techniki forensyki i dochodzenia

Zarządzanie i zgodność:

• Ramy i polityki zarządzania ryzykiem AI
• Zagadnienia zgodności regulacyjnej (RODO, AI Act itp.)
• Ocena ryzyka dostawców AI
• Szkolenia z budzenia świadomości bezpieczeństwa dla zespołów deweloperskich AI

Ćwiczenie praktyczne: Projektowanie kompletnego architektonicznego zabezpieczenia dla korporacyjnego czatbota AI, w tym monitorowanie, zarządzanie i procedury reagowania na incydenty

Moduł 9: Narzędzia i technologie (1 godzina)

Cele edukacyjne:

• Ocenianie i wdrażanie narzędzi bezpieczeństwa AI
• Zrozumienie obecnego krajobrazu rozwiązań bezpieczeństwa AI
• Budowanie praktycznych kompetencji detekcji i zapobiegania

Omawiane tematy:

• Ekosystem narzędzi bezpieczeństwa AI i krajobraz dostawców
• Otwarte narzędzia bezpieczeństwa: Garak, PyRIT, Giskard
• Rozwiązania komercyjne dla bezpieczeństwa i monitorowania AI
• Wzorce integracji i strategie wdrożenia
• Kryteria wyboru narzędzi i ramy oceny

Ćwiczenie praktyczne: Demonstracja rąk-od-ręki narzędzi testujących bezpieczeństwo AI i planowanie implementacji

Moduł 10: Trendy przyszłościowe i podsumowanie (1 godzina)

Cele edukacyjne:

• Zrozumienie nowych zagrożeń i przyszłych wyzwań bezpieczeństwa
• Rozwijanie strategii ciągłego uczenia się i doskonalenia
• Tworzenie planów działań dla organizacyjnych programów bezpieczeństwa AI

Omawiane tematy:

• Nowe zagrożenia: deepfake, zaawansowana iniekcja promptów, inwersja modeli
• Prirodne rozwoju i roadmapa projektu OWASP GenAI
• Budowanie społeczności bezpieczeństwa AI i wymiana wiedzy
• Ciągłe doskonalenie i integracja z wywiadem o zagrożeniach (threat intelligence)

Ćwiczenie planowania działań: Opracowanie 90-dniowego planu działań wdrażającego praktyki bezpieczeństwa OWASP GenAI w organizacjach uczestników