Bezpieczeństwo OWASP GenAI - Plan Szkolenia

Dzień 1: Podstawy i główne zagrożenia

Moduł 1: Wprowadzenie do projektu OWASP GenAI Security (1 godzina)

Cele nauki:

• Zrozumienie ewolucji od OWASP Top 10 do wyzwań w zakresie bezpieczeństwa specyficznych dla GenAI
• Eksploracja ekosystemu i zasobów projektu OWASP GenAI Security
• Zidentyfikowanie kluczowych różnic między bezpieczeństwem tradycyjnych aplikacji a bezpieczeństwem AI

Poruszone tematy:

• Przegląd misji i zakresu projektu OWASP GenAI Security
• Wprowadzenie do ram Threat Defense COMPASS
• Rozumienie krajobrazu bezpieczeństwa AI oraz wymogów regulacyjnych
• Powierzchnie ataku dla AI w przeciwieństwie do podatności tradycyjnych aplikacji internetowych

Ćwiczenie praktyczne: Konfiguracja narzędzia OWASP Threat Defense COMPASS i przeprowadzenie wstępnej oceny zagrożeń

Moduł 2: OWASP Top 10 dla LLM - Część 1 (2,5 godziny)

Cele nauki:

• Opanowanie pięciu najważniejszych podatności LLM
• Zrozumienie wektorów ataku i technik eksploatacji
• Zastosowanie praktycznych strategii łagodzenia

Poruszone tematy:

LLM01: Wstrzykiwanie promptów (Prompt Injection)

• Techniki bezpośredniego i pośredniego wstrzykiwania promptów
• Ataki z ukrytymi instrukcjami oraz skażenie międzypromptowe
• Praktyczne przykłady: Jailbreaking czatbotów i omijanie mechanizmów bezpieczeństwa
• Strategie obronne: Czyszczenie wejść, filtrowanie promptów, prywatność różniczkowa

LLM02: Wyciek wrażliwych informacji

• Ekstrakcja danych treningowych i wyciek systemowego promptu
• Analiza zachowania modelu w celu wykrycia ujawniania wrażliwych informacji
• Implikacje dotyczące prywatności i rozważania zgodności regulacyjnej
• Łagodzenie: Filtrowanie wyjść, kontrole dostępu, anonimizacja danych

LLM03: Podatności łańcucha dostaw

• Zależności od zewnętrznych modeli i bezpieczeństwo wtyczek
• Skażone zbiory danych treningowych oraz trucie modeli
• Ocena ryzyka dostawców komponentów AI
• Bezpieczne wdrażanie modeli i praktyki weryfikacji

Ćwiczenie praktyczne: Laboratorium demonstrujące ataki wstrzykiwania promptów na uszkodzone aplikacje LLM oraz wdrażanie środków ochronnych

Moduł 3: OWASP Top 10 dla LLM - Część 2 (2 godziny)

Poruszone tematy:

LLM04: Trucie danych i modeli

• Techniki manipulacji danymi treningowymi
• Modyfikacja zachowania modelu poprzez zakażone wejścia
• Ataki typu backdoor i weryfikacja integralności danych
• Zapobieganie: Potoki walidacji danych, śledzenie pochodzenia danych

LLM05: Niewłaściwe przetwarzanie wyjść

• Niebezpieczne przetwarzanie treści wygenerowanych przez LLM
• Wstrzykiwanie kodu poprzez wyjścia generowane przez AI
• XSS (międzywitrynowe skryptowanie) poprzez odpowiedzi AI
• Ramy walidacji i czyszczenia danych wyjściowych

Ćwiczenie praktyczne: Symulacja ataków trucia danych oraz wdrażanie mechanicznych mechanizmów walidacji wyjść

Moduł 4: Zaawansowane zagrożenia LLM (1,5 godziny)

Poruszone tematy:

LLM06: Nadmierna agencja

• Ryzyka autonomijnego podejmowania decyzji i przekraczania granic
• Uprawnienia agentów i zarządzanie uprawnieniami
• Niezamierzone interakcje systemowe i eskalacja uprawnień
• Wdrażanie zapór ochronnych (guardrails) i kontroli nadzoru człowieka

LLM07: Wyciek systemu promptów

• Podatności ujawniające instrukcje systemowe
• Ujawnianie poświadczeń i logiki poprzez prompty
• Techniki ataku w celu wyekstrahowania promptów systemowych
• Zabezpieczanie instrukcji systemowych i konfiguracji zewnętrznej

Ćwiczenie praktyczne: Projektowanie bezpiecznych architektur agentów z odpowiednimi kontrolami dostępu i monitorowania

Dzień 2: Zaawansowane zagrożenia i implementacja

Moduł 5: Naciskające zagrożenia AI (2 godziny)

Cele nauki:

• Zrozumienie najnowocześniejszych zagrożeń bezpieczeństwa AI
• Wdrożenie zaawansowanych technik wykrywania i zapobiegania
• Zaprojektowanie odpornych systemów AI wobec wyrafinowanych ataków

Poruszone tematy:

LLM08: Słabość wektorów i osadzeń (Embedding)

• Podatności systemów RAG i bezpieczeństwo baz danych wektorowych
• Trucie osadzeń oraz ataki manipulujące podobieństwem
• Przykłady adversarialne w wyszukiwaniu semantycznym
• Zabezpieczanie magazynów wektorowych i wdrażanie wykrywania anomalii

LLM09: Dezinformacja i niezawodność modelu

• Wykrywanie i łagodzenie halucynacji
• Rozszerzanie uprzedzeń i rozważania sprawiedliwości
• Mechnizmy weryfikacji faktów oraz źródłowe
• Walidacja treści i integracja z nadzorem człowieka

LLM10: Niekontrolowane wykorzystywanie

• Wyczerpanie zasobów i ataki typu denial-of-service
• Strategie limitowania szybkości (rate limiting) i zarządzania zasobami
• Optymalizacja kosztów i kontrole budżetowe
• Systemy monitorowania wydajności i ostrzegania

Ćwiczenie praktyczne: Budowa bezpiecznego potoku RAG z ochroną bazy danych wektorowej i wykrywaniem halucynacji

Moduł 6: Bezpieczeństwo Agencji AI (2 godziny)

Cele nauki:

• Zrozumienie unikalnych wyzwań bezpieczeństwa związanych z autonomijnymi agentami AI
• Zastosowanie taksonomii OWASP Agentic AI do systemów rzeczywistych
• Wdrożenie kontroli bezpieczeństwa dla środowisk wieloagentowych

Poruszone tematy:

• Wprowadzenie do Agencji AI i systemów autonomijnych
• Taksonomia zagrożeń OWASP Agentic AI: Projektowanie agenta, Pamięć, Planowanie, Korzystanie z narzędzi, Wdrażanie
• Ryzyka bezpieczeństwa i koordynacji w systemach wieloagentowych
• Ataki nadużywające narzędzia, trucia pamięci oraz przejęcia celów (goal hijacking)
• Zabezpieczanie komunikacji agentów i procesów podejmowania decyzji

Ćwiczenie praktyczne: Ćwiczenie modelowania zagrożeń z wykorzystaniem taksonomii OWASP Agentic AI na przykładzie wieloagentowego systemu obsługi klienta

Moduł 7: Implementacja OWASP Threat Defense COMPASS (2 godziny)

Cele nauki:

• Opanowanie praktycznego zastosowania Threat Defense COMPASS
• Zintegrowanie oceny zagrożeń AI z programami bezpieczeństwa organizacji
• Stworzenie kompleksowych strategii zarządzania ryzykiem AI

Poruszone tematy:

• Głębokie zagłębienie w metodologię Threat Defense COMPASS
• Integracja pętli OODA: Observe (Obserwuj), Orient (Zorientuj), Decide (Decyduj), Act (Działaj)
• Mapowanie zagrożeń na ramy MITRE ATT&CK i ATLAS
• Tworzenie dashboardów strategii odporności AI na zagrożenia
• Integracja z istniejącymi narzędziami i procesami bezpieczeństwa

Ćwiczenie praktyczne: Kompleksowa ocena zagrożeń z użyciem COMPASS dla scenariusza wdrożenia Microsoft Copilot

Moduł 8: Praktyczna implementacja i najlepsze praktyki (2,5 godziny)

Cele nauki:

• Zaprojektowanie bezpiecznych architektur AI od podstaw
• Wdrożenie monitorowania i reagowania na incydenty dla systemów AI
• Stworzenie ram governancji dla bezpieczeństwa AI

Poruszone tematy:

Bezpieczny cykl życia rozwoju AI:

• Zasady Security-by-Design dla aplikacji AI
• Praktyki przeglądu kodu dla integracji z LLM
• Metodologie testowania i skanowanie podatności
• Bezpieczeństwo wdrażania i hardening produkcji

Monitorowanie i wykrywanie:

• Wymagania dotyczące logowania i monitorowania specyficzne dla AI
• Wykrywanie anomalii dla systemów AI
• Procedury reagowania na incydenty związane z bezpieczeństwem AI
• Techniki forenscyczne i dochodzeniowe

Governancja i zgodność:

• Ramy zarządzania ryzykiem AI i polityki
• Rozważania zgodności regulacyjnej (RODO, Ustawę o AI itp.)
• Ocena ryzyka stron trzecich dla dostawców AI
• Szkolenia ze świadomości bezpieczeństwa dla zespołów deweloperskich AI

Ćwiczenie praktyczne: Zaprojektuj kompletną architekturę bezpieczeństwa dla enterprise czatbota AI, w tym monitorowania, governancji oraz procedur reagowania na incydenty

Moduł 9: Narzędzia i technologie (1 godzina)

Cele nauki:

• Ocena i wdrożenie narzędzi bezpieczeństwa AI
• Zrozumienie obecnego krajobrazu rozwiązań bezpieczeństwa AI
• Stworzenie praktycznych zdolności wykrywania i zapobiegania

Poruszone tematy:

• Ekosystem narzędzi bezpieczeństwa AI i krajobraz dostawców
• Narzędzia open-source: Garak, PyRIT, Giskard
• Rozwiązania komercyjne dla bezpieczeństwa i monitorowania AI
• Wzorce integracji i strategie wdrażania
• Kryteria wyboru narzędzi i ramy ewaluacyjne

Ćwiczenie praktyczne: Demonstraacja laboratorna narzędzi testujących bezpieczeństwo AI oraz planowanie implementacji

Moduł 10: Przyszłe trendy i podsumowanie (1 godzina)

Cele nauki:

• Zrozumienie naciskających zagrożeń oraz przyszłych wyzwań w zakresie bezpieczeństwa
• Rozwój strategii ciągłego uczenia się i ulepszania
• Stworzenie planów działania dla programów bezpieczeństwa AI w organizacji

Poruszone tematy:

• Naciskające zagrożenia: Deepfakes, zaawansowane wstrzykiwanie promptów, odwracanie modelu (model inversion)
• Przyszły rozwój projektu OWASP GenAI i roadmapa
• Budowanie społeczności bezpieczeństwa AI i dzielenie się wiedzą
• Ciągłe ulepszanie i integracja wywiadu dotyczącego zagrożeń

Ćwiczenie planowania działań: Opracuj 90-dniowy plan działania w celu wdrożenia praktyk bezpieczeństwa OWASP GenAI w organizacjach uczestników