Dziękujemy za wysłanie zapytania! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Dziękujemy za wysłanie rezerwacji! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Plan Szkolenia
Wdrażanie EXO w trybie offline
- Użycie EXO_OFFLINE w celu zapobiegania dostępowi do internetu w czasie działania
- Wstępne ładowanie modeli do EXO_MODELS_READ_ONLY_DIRS z zaufanych wewnętrznych lustrzanych repozytoriów
- Weryfikacja integralności wag modeli za pomocą sum kontrolnych SHA-256 i podpisanych kart modeli
- Uruchamianie EXO w sieciach odizolowanych bez zależności od HuggingFace
Kontrola dostępu do pulpitu nawigacyjnego i API
- Instalacja i konfiguracja odwrotnych proxy (nginx, Caddy) z zakończeniem TLS
- Implementacja kontroli dostępu opartej na rolach dla pulpitu nawigacyjnego EXO i REST API
- Użycie macOS keychain lub Linux pass do przechowywania sekretów do uwierzytelniania API
- Ograniczenie punktów końcowych administracyjnych do określonych zakresów IP
Izolacja klastrów i bezpieczeństwo sieci
- Segmentowanie klastrów EXO za pomocą EXO_LIBP2P_NAMESPACE i VLAN
- Konfiguracja zapór sieciowych hosta (macOS application firewall, iptables, nftables) dla portów EXO
- Zapobieganie nieautoryzowanemu wykrywaniu urządzeń i wstrzykiwaniu nieautoryzowanych węzłów
- Szyfrowanie ruchu libp2p między węzłami, gdy RDMA nie jest dostępne
Zarządzanie modelami i pochodzenie
- Budowanie wewnętrznego rejestru modeli z zatwierdzonymi listami modeli i metadanymi
- Tagowanie i wersjonowanie skwantyzowanych wag (4-bitowe, 8-bitowe) wraz z punktami kontrolnymi źródłowymi
- Wymuszanie, aby można było ładować tylko określone repozytoria HuggingFace lub wewnętrzne artefakty
- Dokumentowanie pochodzenia modeli, warunków licencji i polityk akceptowalnego użycia
Rejestrowanie audytowe i zgodność
- Konfiguracja przekazywania logów EXO do niezmiennych śladów audytowych (SIEM, pamięć WORM)
- Korelacja logów wywołań API z tożsamością użytkownika i znacznikiem czasu
- Przechwytywanie zdarzeń tworzenia, usuwania i żądań wnioskowania instancji modeli
- Generowanie okresowych raportów zgodności dla audytorów wewnętrznych i zewnętrznych
Modelowanie zagrożeń i reagowanie na incydenty
- Identyfikacja zagrożeń: eksfiltracja danych przez wyniki modeli, iniekcja promptów, wycieki przez kanały boczne
- Implementacja monitorowania promptów i potoków filtrowania treści
- Tworzenie podręczników reagowania na incydenty dla scenariuszy naruszenia klastrów
- Izolowanie dotkniętych węzłów, zachowywanie logów kryminalistycznych i odbudowa czystych środowisk
Bezpieczeństwo fizyczne i granice sprzętowe
- Zabezpieczanie portów Thunderbolt przed nieautoryzowanymi połączeniami kablowymi RDMA
- Użycie bezpiecznych enklaw i sprzętowego uwierzytelniania Apple Silicon, jeśli ma to zastosowanie
- Kontrola fizycznego dostępu do zgrupowanych komputerów Mac i pamięci współdzielonej
- Dokumentowanie cyklu życia sprzętu i procedur wycofywania
Uwzględnienie regulacji
- Mapowanie wdrożeń EXO na wymagania GDPR, HIPAA i SOC 2
- Utrzymywanie rezydencji danych poprzez utrzymywanie wnioskowania lokalnie
- Dokumentowanie ryzyk związanych z łańcuchem dostaw dostawców (MLX, EXO, wagi modeli)
- Przygotowanie do ram zarządzania AI, takich jak Artykuł 53 ustawy UE o AI
Wymagania
- Doświadczenie z EXO lub innym lokalnym środowiskiem uruchomieniowym LLM
- Zrozumienie uprawnień systemu plików Unix i sieciowych ACL
- Znajomość zarządzania certyfikatami TLS/SSL i podstaw szyfrowania
Odbiorcy
- Inżynierowie bezpieczeństwa
- Inspektorzy zgodności
- Administratorzy infrastruktury AI obsługujący wrażliwe dane
14 godzin
Opinie uczestników (1)
Instruktor miał doskonałą wiedzę o FortiGate i bardzo dobrze przedstawił treść. Serdecznie dziękujemy Sorushowi.
Colin Donohue - Technological University of the Shannon: Midlands Midwest
Szkolenie - FortiGate 7.4 Administration
Przetłumaczone przez sztuczną inteligencję