OWASP GenAI Security - Plan Szkolenia

Dzień 1: Fundamenty i Główne Zagrożenia

Moduł 1: Wprowadzenie do Projektu OWASP GenAI Security (1 godzina)

Cele Nauki:

• Zrozumienie ewolucji od OWASP Top 10 do wyzwań bezpieczeństwa specyficznych dla GenAI.
• Poznanie ekosystemu i zasobów projektu OWASP GenAI Security.
• Identyfikacja kluczowych różnic między tradycyjnym bezpieczeństwem aplikacji a bezpieczeństwem AI.

Obejmowane Tematy:

• Przegląd misji i zakresu projektu OWASP GenAI Security.
• Wprowadzenie do ramy Threat Defense COMPASS.
• Zrozumienie otoczenia bezpieczeństwa AI i wymogów regulacyjnych.
• Powierzchnia ataków AI w porównaniu z lukami w tradycyjnych aplikacjach webowych.

Ćwiczenie Praktyczne: Konfiguracja narzędzia OWASP Threat Defense COMPASS i przeprowadzenie wstępnej oceny zagrożeń.

Moduł 2: OWASP Top 10 dla LLM - Część 1 (2,5 godziny)

Cele Nauki:

• Opanowanie pięciu krytycznych luk w zabezpieczeniach LLM.
• Zrozumienie wektorów ataku i technik eksploatacji.
• Stosowanie praktycznych strategii mitygacji.

Obejmowane Tematy:

LLM01: Prompt Injection

• Techniki bezpośredniego i pośredniego wstrzykiwania promptów.
• Ataki ukrytych instrukcji i zanieczyszczenie między promptami.
• Praktyczne przykłady: łamanie zabezpieczeń chatbotów (jailbreaking) i omijanie środków bezpieczeństwa.
• Strategie obronne: walidacja wejścia, filtrowanie promptów, prywatność różnicowa.

LLM02: Wyciek Poczciwych Danych

• Eksktraktacja danych treningowych i wyciek promptów systemowych.
• Analiza zachowania modelu pod kątem ujawniania wrażliwych danych.
• Konsekwencje prywatności i kwestie zgodności regulacyjnej.
• Mitygacja: filtrowanie wyjścia, kontrola dostępu, anonimizacja danych.

LLM03: Luki w łańcuchu dostaw

• Zależności od modeli stron trzecich i bezpieczeństwo wtyczek.
• Zainfekowane zestawy danych treningowych i zatruwanie modeli.
• Ocena ryzyka dostawców komponentów AI.
• Zapewnione wdrożenie modeli i praktyki weryfikacji.

Ćwiczenie Praktyczne: Laboratorium hands-on demonstrujące ataki prompt injection na narażonych aplikacjach LLM oraz wdrażanie środków obronnych.

Moduł 3: OWASP Top 10 dla LLM - Część 2 (2 godziny)

Obejmowane Tematy:

LLM04: Zatruwanie Danych i Modeli

• Techniki manipulacji danymi treningowymi.
• Modifikacja zachowania modelu przez zatrute wejścia.
• Ataki backdoor i weryfikacja integralności danych.
• Prewencja: linie walidacji danych, śledzenie pochodzenia.

LLM05: Nieodpowiednia Obsługa Wyjścia

• Niebezpieczna obróbka treści generowanych przez LLM.
• Wstrzykiwanie kodu przez wygenerowane wyjścia AI.
• Ataki XSS (cross-site scripting) poprzez odpowiedzi AI.
• Ramy walidacji i sanityzacji wyjścia.

Ćwiczenie Praktyczne: Symulacja ataków na zatruwanie danych i wdrażanie mechanizmów solidnej walidacji wyjścia.

Moduł 4: Zaawansowane Zagrożenia LLM (1,5 godziny)

Obejmowane Tematy:

LLM06: Nadmierna Agencja

• Ryzyko autonomicznego podejmowania decyzji i naruszanie granic.
• Uprawnienia agentów i zarządzanie uprawnieniami.
• Nieintencjonalne interakcje systemowe i eskalacja uprawnień.
• Wdrażanie barier (guardrails) i kontroli nadzoru ludzkiego.

LLM07: Wyciek Promptu Systemowego

• Luki w ujawnieniu instrukcji systemowych.
• Ujawnianie poświadczeń i logiki przez prompty.
• Techniki ataku mające na celu ekstrakcję promptów systemowych.
• Zabezpieczanie instrukcji systemowych i konfiguracji zewnętrznej.

Ćwiczenie Praktyczne: Projektowanie bezpiecznej architektury agentów z odpowiednimi kontrolami dostępu i monitorowaniem.

Dzień 2: Zaawansowane Zagrożenia i Wdrożenie

Moduł 5: Nowe Zagrożenia AI (2 godziny)

Cele Nauki:

• Zrozumienie najnowszych zagrożeń bezpieczeństwa AI.
• Wdrażanie zaawansowanych technik wykrywania i zapobiegania.
• Projektowanie odpornych systemów AI na zaawansowane ataki.

Obejmowane Tematy:

LLM08: Słabości Wektorów i Embeddingów

• Luki w systemach RAG i bezpieczeństwo baz danych wektorowych.
• Zatruwanie embeddingów i ataki na manipulację podobieństwem.
• Przykłady adaptacyjne w wyszukiwaniu semantycznym.
• Zabezpieczanie magazynów wektorowych i wdrażanie wykrywania anomalii.

LLM09: Dezinformacja i Niezawodność Modeli

• Wykrywanie i mitygacja halucynacji.
• Ampifikacja uprzedzeń i kwestie sprawiedliwości.
• Mechanizmy weryfikacji faktów i źródeł.
• Walidacja treści i integracja nadzoru ludzkiego.

LLM10: Niewymienione Zużycie Zasobów

• Wyczerpywanie zasobów i ataki typu Denial-of-Service.
• Ograniczanie przepustowości i strategie zarządzania zasobami.
• Optymalizacja kosztów i kontrola budżetowa.
• Monitorowanie wydajności i systemy alertowe.

Ćwiczenie Praktyczne: Budowanie bezpiecznego pipeline RAG z ochroną bazy danych wektorowych i wykrywaniem halucynacji.

Moduł 6: Bezpieczeństwo Agentic AI (2 godziny)

Cele Nauki:

• Zrozumienie unikalnych wyzwań bezpieczeństwa autonomicznych agentów AI.
• Stosowanie taksonomii OWASP Agentic AI do systemów rzeczywistych.
• Wdrażanie kontroli bezpieczeństwa w środowiskach multi-agent.

Obejmowane Tematy:

• Wprowadzenie do Agentic AI i systemów autonomicznych.
• Taksonomia zagrożeń OWASP Agentic AI: Projektowanie Agentów, Pamięć, Planowanie, Użycie Narzędzi, Wdrożenie.
• Bezpieczeństwo systemów multi-agent i ryzyko koordynacji.
• Nadużycia narzędzi, zatruwanie pamięci i ataki przejęcia celów.
• Zabezpieczanie komunikacji agentów i procesów decyzyjnych.

Ćwiczenie Praktyczne: Ćwiczenie modelowania zagrożeń z użyciem taksonomii OWASP Agentic AI dla systemu obsługi klienta multi-agent.

Moduł 7: Wdrożenie OWASP Threat Defense COMPASS (2 godziny)

Cele Nauki:

• Opanowanie praktycznego zastosowania Threat Defense COMPASS.
• Integracja oceny zagrożeń AI z organizacyjnymi programami bezpieczeństwa.
• Rozwój kompleksowych strategii zarządzania ryzykiem AI.

Obejmowane Tematy:

• Głębsza analiza metodyki Threat Defense COMPASS.
• Integracja z pętlą OODA: Obserwuj, Orientuj Się, Decyduj, Działaj.
• Mapowanie zagrożeń na ramy MITRE ATT&CK i ATLAS.
• Budowanie tablicy wskaźników strategii odporności na zagrożenia AI.
• Integracja z istniejącymi narzędziami i procesami bezpieczeństwa.

Ćwiczenie Praktyczne: Kompletna ocena zagrożeń z użyciem COMPASS dla scenariusza wdrożenia Microsoft Copilot.

Moduł 8: Praktyczne Wdrożenie i Najlepsze Praktyki (2,5 godziny)

Cele Nauki:

• Projektowanie bezpiecznej architektury AI od podstaw.
• Wdrażanie monitorowania i reagowania na incydenty dla systemów AI.
• Tworzenie ram governance dla bezpieczeństwa AI.

Obejmowane Tematy:

Bezpieczny Cykl Życia Rozwoju AI:

• Zasady bezpieczeństwa przez projektowanie (security-by-design) dla aplikacji AI.
• Praktyki przeglądania kodu dla integracji LLM.
• Metodologie testowania i skanowania luk.
• Bezpieczeństwo wdrożeń i wzmacnianie środowisk produkcyjnych.

Monitorowanie i Wykrywanie:

• Wymagania dotyczące logowania i monitorowania specyficzne dla AI.
• Wykrywanie anomalii w systemach AI.
• Procedury reagowania na incydenty bezpieczeństwa AI.
• Techniki forensyki i śledztwa.

Governance i Zgodność:

• Ramy zarządzania ryzykiem AI i polityki.
• Kwestie zgodności regulacyjnej (RODO, AI Act, itp.).
• Ocena ryzyka stron trzecich dla dostawców AI.
• Szkolenia z zakresu świadomości bezpieczeństwa dla zespołów rozwijających AI.

Ćwiczenie Praktyczne: Projektowanie kompletnej architektury bezpieczeństwa dla korporacyjnego chatbota AI, w tym procedury monitorowania, governance i reagowania na incydenty.

Moduł 9: Narzędzia i Technologie (1 godzina)

Cele Nauki:

• Ocena i wdrażanie narzędzi bezpieczeństwa AI.
• Zrozumienie aktualnego otoczenia rozwiązań bezpieczeństwa AI.
• Budowanie praktycznych zdolności wykrywania i zapobiegania.

Obejmowane Tematy:

• Ekosystem narzędzi bezpieczeństwa AI i krajobraz dostawców.
• Narzędzia open source do bezpieczeństwa: Garak, PyRIT, Giskard.
• Rozwiązania komercyjne dla bezpieczeństwa i monitoringu AI.
• Wzorce integracji i strategie wdrożeniowe.
• Kryteria wyboru narzędzi i ramy ewaluacyjne.

Ćwiczenie Praktyczne: Praktyczna demonstracja narzędzi testowania bezpieczeństwa AI i planowanie wdrożenia.

Moduł 10: Przyszłe Trendy i Podsumowanie (1 godzina)

Cele Nauki:

• Zrozumienie pojawiających się zagrożeń i przyszłych wyzwań bezpieczeństwa.
• Rozwój strategii ciągłego uczenia się i poprawy.
• Tworzenie planów działania dla organizacyjnych programów bezpieczeństwa AI.

Obejmowane Tematy:

• Pojawiające się zagrożenia: Deepfake, zaawansowane wstrzykiwanie promptów, inwersja modeli.
• Pojawiające się projekty OWASP GenAI i roadmapa rozwoju.
• Budowanie społeczności bezpieczeństwa AI i wymiana wiedzy.
• Ciągła poprawa i integracja wywiadu o zagrożeniach.

Ćwiczenie z Planowania Działania: Opracowanie planu działania na 90 dni w celu implementacji praktyk bezpieczeństwa OWASP GenAI w organizacjach uczestników.