Plan Szkolenia
Moduł 1 — Systemy AI dla inżynierów bezpieczeństwa
Laboratorium: Lab 01 — 01-Wprowadzenie
Zrozumienie architektury.
Tematy:
- LLM a zwykłe aplikacje
- Potoki wnioskowania AI
- Przepływ promptów
- Architektura RAG
- Embeddingi/bazy danych wektorowych
- Przepływy agentów
- Wywołania narzędzi
- Bramy AI
- Copiloty
- Protokoły MCP i agentów
- Gdzie istnieje widoczność WAF
- Gdzie widoczność WAF znika
Kluczowy wniosek: Tradycyjne WAF-y często tracą widoczność po dotarciu promptu do modelu.
Moduł 2 — OWASP GenAI Top 10
Laboratorium: brak — interaktywne podsumowanie/dyskusja
Podstawowe kategorie ataków AI.
Tematy:
- Iniekcja prompt
- Niewłaściwe obsługiwanie wyjść
- Zatrucie danych treningowych
- DoS modelu
- Podatności w łańcuchu dostaw
- Ujawnienie wrażliwych informacji
- Nadmierna autonomia
- Słabości wektorów/embeddingów
- Dezinformacja
- Niekontrolowane zużycie
Zawiera:
- Różnice w stosunku do klasycznego OWASP
- Mapowanie na kontrolki obronne (WAF, brama, warstwa aplikacji)
- Gdzie każda kontrola pomaga
- Gdzie każda kontrola zawodzi
Moduł 3 — Wykrywanie iniekcji prompt
Laboratorium: Lab 02 — 02-Iniekcja-prompt
„Moment iniekcji SQL” dla AI.
Tematy:
- Bezpośrednia iniekcja prompt
- Pośrednia iniekcja prompt
- Ukryte instrukcje
- Ataki oparte na dokumentach
- Iniekcja HTML/Markdown
- Wzorce jailbreak
- Ataki na kontekst
- Ataki na zamieszanie ról
Strategie wykrywania:
- Heurystyki słów kluczowych
- Klasyfikacja semantyczna
- Linting promptów
- Egzekwowanie granic instrukcji
- Polityki zezwalania/blokowania
- Wzorce regex świadome AI
Praktyczne laboratoria:
- Atak na chatbota
- Omijanie naiwnych filtrów
- Budowanie warstwowej detekcji
Moduł 4 — Reguły WAF świadome AI
Laboratorium: Lab 03 — 03-Podstawy-WAF
Jak reguły WAF ewoluują dla systemów AI.
- Tematy:
- Ochrona punktów końcowych LLM
- Ochrona API wnioskowania
- Ograniczenia szybkości świadome tokenów
- Inspekcja rozmiaru promptów
- Specyficzne sygnatury AI
- Wykrywanie anomalii w konwersacjach
- Wzorce nadużyć wieloetapowych
- Próby enumeracji modeli
- Skrobanie wnioskowania
- Ochrona przed denial-of-wallet
Przykłady:
- Ochrona /v1/chat/completions
- Obrona strumieniowych API
- Blokowanie rekurencyjnych wywołań agentów
Moduł 5 — Zabezpieczanie potoków RAG
Laboratorium: Lab 04 — 04-Bezpieczeństwo-RAG
Jedna z największych nowych powierzchni ataku.
Tematy:
- Zagrożenia baz danych wektorowych
- Zatrucie embeddingów
- Złośliwe pliki PDF/dokumenty
- Manipulacja pobieraniem
- Zatrucie semantyczne
- Ukryte instrukcje w dokumentach
- Zanieczyszczenie między dokumentami
- Exfiltracja danych poprzez pobieranie
Obrona:
- Sanityzacja podczas wprowadzania
- Ocena zaufania
- Izolacja metadanych
- Pochodzenie dokumentów
- Polityki pobierania
- Segmentacja
Studium przypadku: „Prześlij zatruty plik PDF i przejmij kontrolę nad asystentem AI.”
Moduł 6 — Bezpieczeństwo agentów AI
Laboratorium: Lab 05 — 05-Bezpieczeństwo-agentów
Tam, gdzie staje się niebezpiecznie.
Tematy:
- Nadmierna autonomia
- Nadużycia narzędzi
- Łańcuchowanie API
- Autonomiczne pętle
- Eskalacja uprawnień
- Zatrucie pamięci
- Pośrednie wykonywanie narzędzi
- Impersonacja agentów
- Wyciek poświadczeń
- Ataki wieloagentowe
Obrona:
- Minimalne uprawnienia dla agentów
- Bramki zatwierdzania
- Silniki polityk runtime
- Sandboxing
- Scoped credentials
- Whitelistowanie narzędzi
- Human-in-the-loop
Ta sekcja jest zwykle najważniejsza dla menedżerów, ponieważ ryzyko staje się operacyjne i wpływa na biznes.
Moduł 7 — Bezpieczeństwo API dla AI
Laboratorium: Lab 06 — 06-Denial-of-Wallet
Systemy AI są silnie oparte na API.
Tematy:
- Bramy API
- Ryzyka związane z GraphQL AI
- Nadużycia MCP/API
- Ochrona JWT
- Bezpieczeństwo wtyczek AI
- Uwierzytelnianie agentów
- Delegowane autoryzacje
- Zarządzanie sekretami
- Podpisane prompty
- Inwentaryzacja API dla AI
Połączenie z: OWASP API Security Top 10
Moduł 8 — Inżynieria detekcji i integracja z SOC
Laboratorium: Lab 07 — 07-Detekcja
Operacyjna obrona.
Tematy:
- Telemetria AI
- Logowanie promptów
- Analiza tokenów
- Wykrywanie anomalii
- Semantyczne potoki SIEM
- Wskaźniki ataków AI
- Polowanie na zagrożenia związane z nadużyciami LLM
- Obserwowalność runtime AI
Przykłady:
- Wykrywanie kampanii jailbreak
- Wykrywanie automatycznych nadużyć agentów
- Identyfikacja skrobania modeli
Moduł 9 — Chmurowe WAF-y i bezpieczeństwo AI
Laboratorium: brak — interaktywne podsumowanie/dyskusja
Implementacje specyficzne dla dostawców.
Tematy:
- AWS WAF dla API AI
- Azure WAF
- Cloudflare AI Gateway
- Bramy API
- Filtrowanie AI w Envoy
- Kong AI Gateway
- Wzorce bezpieczeństwa AI w NGINX
Porównanie:
- Tradycyjny WAF vs brama AI vs zabezpieczenia warstwy aplikacji
- Filtrowanie oparte na proxy vs semantyczne
Moduł 10 — Budowanie warstwowej obrony AI
Laboratorium: Lab 08 — 08-Warstwowa-obrona
Ważny filozoficzny wniosek:
Żadna pojedyncza warstwa nie może zabezpieczyć AI (zwłaszcza WAF samodzielnie).
Uczestnicy budują model warstwowy:
- WAF
- Brama API
- Brama AI
- Zabezpieczenia
- Monitorowanie runtime
- Uwierzytelnianie/autoryzacja
- Sandbox
- Zatwierdzenie przez człowieka
- Obserwowalność
- Reakcja na incydenty
To silnie odpowiada modelowi „wielowarstwowego bezpieczeństwa”.
Moduł ↔ Mapowanie laboratoriów
Laboratoria są prowadzone w kolejności modułów.
Kurs ma 10 modułów, ale 8 laboratoriów: Moduły 2 i 9 to interaktywne podsumowania/dyskusje i nie mają laboratoriów.
Każde laboratorium jest oznaczone swoim modułem w tym planie.
- Lab 01 (Moduł 1)
- Folder: 01-Wprowadzenie
- Tytuł: Eksploracja systemu AI — co jest w sieci
- Lab 02 (Moduł 3)
- Folder: 02-Iniekcja-prompt
- Tytuł: Atak na chatbota i omijanie naiwnych filtrów
- Lab 03 (Moduł 4)
- Folder: 03-Podstawy-WAF
- Tytuł: Budowanie reguł WAF świadomych AI
- Lab 04 (Moduł 5)
- Folder: 04-Bezpieczeństwo-RAG
- Tytuł: Zatrucie potoku RAG
- Lab 05 (Moduł 6)
- Folder: 05-Bezpieczeństwo-agentów
- Tytuł: Zabezpieczenie autonomicznego agenta
- Lab 06 (Moduł 7)
- Folder: 06-Denial-of-Wallet
- Tytuł: Wykrywanie ataków typu denial-of-wallet
- Lab 07 (Moduł 8)
- Folder: 07-Detekcja
- Tytuł: Monitorowanie wzorców nadużyć AI w logach
- Lab 08 (Moduł 10)
- Folder: 08-Warstwowa-obrona
- Tytuł: Budowanie warstwowej architektury obrony AI
Capstone
Uczestnicy bronią symulowanego korporacyjnego asystenta AI.
Atakujący próbują:
- Iniekcji prompt
- Nadużycia narzędzi
- Kradzieży poświadczeń
- Zatrucia pobierania
- Nadmiernego zużycia API
- Eskalacji agentów
Zespoły budują:
- Reguły WAF
- Polityki bram AI
- Wykrywanie runtime
- Zabezpieczenia
- Reakcję na incydenty
Wymagania
- Uczestnicy powinni już rozumieć bezpieczeństwo HTTP/API, proxy/reverse proxy, uwierzytelnianie, OWASP Top 10, REST API i podstawy sieci w chmurze.
Grupa docelowa
- Inżynierowie bezpieczeństwa i AppSec
- Analitycy SOC i inżynierowie detekcji
- Inżynierowie bezpieczeństwa API
- Bezpieczeństwo chmury / API / platformy
- Inżynierowie DevSecOps
- Architekci bezpieczeństwa
- Specjaliści ds. bezpieczeństwa sieci / WAF
- Inżynierowie platform AI
Opinie uczestników (2)
Naprawdę podobało mi się uczenie się o atakach AI i dostępnych narzędziach do rozpoczęcia praktyki i aktywnego wykorzystywania w testach bezpieczeństwa. Wyniosłem z kursu wiele wiedzy, której nie miałem na początku, a kurs spełnił moje oczekiwania. Moim ulubionym elementem szkolenia był Comet Browser i byłem zdumiony tym, co potrafi. Zdecydowanie będę się temu przyglądać bliżej. Ogólnie rzecz biorąc, był to świetny kurs i cieszyłem się, ucząc się wszystkiego o OWASP GenAI Top 10.
Patrick Collins - Optum
Szkolenie - OWASP GenAI Security
Przetłumaczone przez sztuczną inteligencję
Profesjonalna wiedza oraz sposób, w jaki przedstawił ją przed nami
Miroslav Nachev - PUBLIC COURSE
Szkolenie - Cybersecurity in AI Systems
Przetłumaczone przez sztuczną inteligencję