Plan Szkolenia
Dzień 1: Podstawy i kluczowe zagrożenia
Moduł 1: Wprowadzenie do projektu OWASP GenAI Security (1 godzina)
Cele edukacyjne:
- Zrozumienie ewolucji od OWASP Top 10 do wyzwań bezpieczeństwa specyficznych dla GenAI
- Poznanie ekosystemu i zasobów projektu OWASP GenAI Security
- Identyfikacja kluczowych różnic między tradycyjnym bezpieczeństwem aplikacji a bezpieczeństwem AI
Poruszane tematy:
- Przegląd misji i zakresu projektu OWASP GenAI Security
- Wprowadzenie do frameworka Threat Defense COMPASS
- Zrozumienie krajobrazu bezpieczeństwa AI i wymagań regulacyjnych
- Powierzchnie ataków AI a tradycyjne luki w aplikacjach internetowych
Ćwiczenie praktyczne: Konfiguracja narzędzia OWASP Threat Defense COMPASS i przeprowadzenie wstępnej oceny zagrożeń
Moduł 2: OWASP Top 10 dla LLM - Część 1 (2,5 godziny)
Cele edukacyjne:
- Opanowanie pierwszych pięciu krytycznych luk w LLM
- Zrozumienie wektorów ataków i technik eksploatacji
- Stosowanie praktycznych strategii łagodzenia
Poruszane tematy:
LLM01: Iniekcja promptów
- Techniki bezpośredniej i pośredniej iniekcji promptów
- Ataki ukrytych instrukcji i skażenie między promptami
- Praktyczne przykłady: Łamanie zabezpieczeń chatbotów i omijanie środków bezpieczeństwa
- Strategie obrony: Sanityzacja danych wejściowych, filtrowanie promptów, różnicowa prywatność
LLM02: Ujawnienie wrażliwych informacji
- Ekstrakcja danych treningowych i wyciek systemowych promptów
- Analiza zachowania modelu pod kątem ujawnienia wrażliwych informacji
- Implikacje prywatności i rozważania dotyczące zgodności regulacyjnej
- Łagodzenie: Filtrowanie wyjść, kontrola dostępu, anonimizacja danych
LLM03: Luki w łańcuchu dostaw
- Zależności od modeli stron trzecich i bezpieczeństwo pluginów
- Skompromitowane zbiory danych treningowych i zatruwanie modeli
- Ocena ryzyka dostawców dla komponentów AI
- Bezpieczne praktyki wdrażania i weryfikacji modeli
Ćwiczenie praktyczne: Praktyczne laboratorium demonstrujące ataki iniekcji promptów na podatne aplikacje LLM i wdrażanie środków obronnych
Moduł 3: OWASP Top 10 dla LLM - Część 2 (2 godziny)
Poruszane tematy:
LLM04: Zatruwanie danych i modeli
- Techniki manipulacji danymi treningowymi
- Modyfikacja zachowania modelu poprzez zatrute dane wejściowe
- Ataki backdoor i weryfikacja integralności danych
- Zapobieganie: Potoki walidacji danych, śledzenie pochodzenia
LLM05: Nieprawidłowe przetwarzanie wyjść
- Niebezpieczne przetwarzanie treści generowanych przez LLM
- Iniekcja kodu poprzez wyjścia generowane przez AI
- Cross-site scripting poprzez odpowiedzi AI
- Frameworki walidacji i sanityzacji wyjść
Ćwiczenie praktyczne: Symulacja ataków zatruwania danych i wdrażanie mechanizmów walidacji wyjść
Moduł 4: Zaawansowane zagrożenia LLM (1,5 godziny)
Poruszane tematy:
LLM06: Nadmierna autonomia
- Ryzyka związane z autonomicznym podejmowaniem decyzji i naruszanie granic
- Zarządzanie uprawnieniami i autoryzacją agentów
- Niezamierzone interakcje systemowe i eskalacja uprawnień
- Implementacja zabezpieczeń i kontroli nadzoru ludzkiego
LLM07: Wyciek systemowych promptów
- Luki związane z ujawnieniem instrukcji systemowych
- Ujawnienie poświadczeń i logiki poprzez prompty
- Techniki ataków na ekstrakcję systemowych promptów
- Zabezpieczanie instrukcji systemowych i konfiguracji zewnętrznych
Ćwiczenie praktyczne: Projektowanie bezpiecznych architektur agentów z odpowiednimi kontrolami dostępu i monitorowaniem
Dzień 2: Zaawansowane zagrożenia i implementacja
Moduł 5: Nowe zagrożenia AI (2 godziny)
Cele edukacyjne:
- Zrozumienie najnowszych zagrożeń bezpieczeństwa AI
- Implementacja zaawansowanych technik wykrywania i zapobiegania
- Projektowanie odpornych systemów AI na zaawansowane ataki
Poruszane tematy:
LLM08: Słabości wektorów i embeddingów
- Luki w systemach RAG i bezpieczeństwo baz danych wektorowych
- Zatruwanie embeddingów i ataki manipulacji podobieństwem
- Przykłady adversarialne w wyszukiwaniu semantycznym
- Zabezpieczanie magazynów wektorowych i implementacja wykrywania anomalii
LLM09: Dezinformacja i niezawodność modeli
- Wykrywanie i łagodzenie halucynacji
- Wzmacnianie uprzedzeń i rozważania dotyczące uczciwości
- Mechanizmy weryfikacji faktów i źródeł
- Integracja walidacji treści i nadzoru ludzkiego
LLM10: Nieograniczone zużycie
- Ataki na wyczerpanie zasobów i odmowę usługi
- Strategie ograniczania szybkości i zarządzania zasobami
- Optymalizacja kosztów i kontrola budżetu
- Systemy monitorowania wydajności i alertów
Ćwiczenie praktyczne: Budowanie bezpiecznego potoku RAG z ochroną bazy danych wektorowych i wykrywaniem halucynacji
Moduł 6: Bezpieczeństwo agentowych systemów AI (2 godziny)
Cele edukacyjne:
- Zrozumienie unikalnych wyzwań bezpieczeństwa autonomicznych agentów AI
- Stosowanie taksonomii OWASP Agentic AI do rzeczywistych systemów
- Implementacja mechanizmów zabezpieczeń dla środowisk wieloagentowych
Poruszane tematy:
- Wprowadzenie do agentowych systemów AI i systemów autonomicznych
- Taksonomia zagrożeń OWASP Agentic AI: Projektowanie agenta, pamięć, planowanie, użycie narzędzi, wdrażanie
- Bezpieczeństwo systemów wieloagentowych i ryzyka koordynacji
- Nadużycie narzędzi, zatruwanie pamięci i ataki przejęcia celów
- Zabezpieczanie komunikacji agentów i procesów decyzyjnych
Ćwiczenie praktyczne: Ćwiczenie modelowania zagrożeń z użyciem taksonomii OWASP Agentic AI na systemie wieloagentowej obsługi klienta
Moduł 7: Implementacja OWASP Threat Defense COMPASS (2 godziny)
Cele edukacyjne:
- Opanowanie praktycznego zastosowania Threat Defense COMPASS
- Integracja oceny zagrożeń AI z programami bezpieczeństwa organizacji
- Opracowanie kompleksowych strategii zarządzania ryzykiem AI
Poruszane tematy:
- Szczegółowe omówienie metodologii Threat Defense COMPASS
- Integracja pętli OODA: Obserwuj, Orientuj, Decyduj, Działaj
- Mapowanie zagrożeń na frameworki MITRE ATT&CK i ATLAS
- Budowanie dashboardów strategii odporności na zagrożenia AI
- Integracja z istniejącymi narzędziami i procesami bezpieczeństwa
Ćwiczenie praktyczne: Kompleksowa ocena zagrożeń z użyciem COMPASS dla scenariusza wdrożenia Microsoft Copilot
Moduł 8: Praktyczna implementacja i najlepsze praktyki (2,5 godziny)
Cele edukacyjne:
- Projektowanie bezpiecznych architektur AI od podstaw
- Implementacja monitorowania i reagowania na incydenty w systemach AI
- Tworzenie ram zarządzania dla bezpieczeństwa AI
Poruszane tematy:
Bezpieczny cykl życia rozwoju AI:
- Zasady bezpieczeństwa w projektowaniu aplikacji AI
- Praktyki przeglądu kodu dla integracji LLM
- Metodologie testowania i skanowania podatności
- Bezpieczeństwo wdrożenia i utwardzanie produkcji
Monitorowanie i wykrywanie:
- Wymagania dotyczące logowania i monitorowania specyficzne dla AI
- Wykrywanie anomalii w systemach AI
- Procedury reagowania na incydenty związane z bezpieczeństwem AI
- Techniki forensyki i dochodzenia
Zarządzanie i zgodność:
- Ramy zarządzania ryzykiem AI i polityki
- Rozważania dotyczące zgodności regulacyjnej (GDPR, AI Act itp.)
- Ocena ryzyka dostawców AI
- Szkolenia z zakresu bezpieczeństwa dla zespołów rozwoju AI
Ćwiczenie praktyczne: Projektowanie kompletnej architektury bezpieczeństwa dla korporacyjnego chatbota AI, w tym monitorowanie, zarządzanie i procedury reagowania na incydenty
Moduł 9: Narzędzia i technologie (1 godzina)
Cele edukacyjne:
- Ocena i implementacja narzędzi bezpieczeństwa AI
- Zrozumienie obecnego krajobrazu rozwiązań bezpieczeństwa AI
- Budowanie praktycznych możliwości wykrywania i zapobiegania
Poruszane tematy:
- Ekosystem narzędzi bezpieczeństwa AI i krajobraz dostawców
- Narzędzia open-source: Garak, PyRIT, Giskard
- Komercyjne rozwiązania do bezpieczeństwa i monitorowania AI
- Wzorce integracji i strategie wdrażania
- Kryteria wyboru i frameworki oceny narzędzi
Ćwiczenie praktyczne: Praktyczna demonstracja narzędzi testowania bezpieczeństwa AI i planowanie implementacji
Moduł 10: Trendy przyszłościowe i podsumowanie (1 godzina)
Cele edukacyjne:
- Zrozumienie nowych zagrożeń i przyszłych wyzwań bezpieczeństwa
- Opracowanie strategii ciągłego uczenia się i doskonalenia
- Tworzenie planów działań dla programów bezpieczeństwa AI w organizacjach
Poruszane tematy:
- Nowe zagrożenia: Deepfakes, zaawansowana iniekcja promptów, inwersja modeli
- Przyszłe rozwinięcia projektu OWASP GenAI i roadmapa
- Budowanie społeczności bezpieczeństwa AI i wymiana wiedzy
- Ciągłe doskonalenie i integracja informacji o zagrożeniach
Ćwiczenie planowania: Opracowanie 90-dniowego planu działań na wdrożenie praktyk bezpieczeństwa OWASP GenAI w organizacjach uczestników
Wymagania
- Ogólne zrozumienie zasad bezpieczeństwa aplikacji internetowych
- Podstawowa znajomość koncepcji AI/ML
- Doświadczenie w zakresie frameworków bezpieczeństwa lub metodologii oceny ryzyka jest mile widziane
Grupa docelowa
- Profesjonaliści z zakresu cyberbezpieczeństwa
- Programiści AI
- Architekci systemów
- Oficerowie ds. zgodności
- Praktycy bezpieczeństwa
Opinie uczestników (1)
Naprawdę podobało mi się uczenie się o atakach AI i dostępnych narzędziach do rozpoczęcia praktyki i aktywnego wykorzystywania w testach bezpieczeństwa. Wyniosłem z kursu wiele wiedzy, której nie miałem na początku, a kurs spełnił moje oczekiwania. Moim ulubionym elementem szkolenia był Comet Browser i byłem zdumiony tym, co potrafi. Zdecydowanie będę się temu przyglądać bliżej. Ogólnie rzecz biorąc, był to świetny kurs i cieszyłem się, ucząc się wszystkiego o OWASP GenAI Top 10.
Patrick Collins - Optum
Szkolenie - OWASP GenAI Security
Przetłumaczone przez sztuczną inteligencję
