Dziękujemy za wysłanie zapytania! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Dziękujemy za wysłanie rezerwacji! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Plan Szkolenia
Wdrożenie EXO w trybie offline
- Użycie EXO_OFFLINE w celu uniknięcia dostępu do internetu w czasie działania
- Wstępne ładowanie modeli do EXO_MODELS_READ_ONLY_DIRS z zaufanych wewnętrznych lustrzanych kopii
- Weryfikacja integralności wag modeli za pomocą sum kontrolnych SHA-256 i podpisanych kart modeli
- Uruchamianie EXO w sieciach odizolowanych bez zależności od HuggingFace
Kontrola dostępu do pulpitu nawigacyjnego i API
- Instalacja i konfiguracja odwrotnych proxy (nginx, Caddy) z zakończeniem TLS
- Implementacja kontroli dostępu opartej na rolach dla pulpitu nawigacyjnego i REST API EXO
- Użycie macOS keychain lub Linux pass do przechowywania sekretów uwierzytelniania API
- Ograniczenie punktów końcowych administracyjnych do określonych zakresów IP źródłowych
Izolacja klastrów i bezpieczeństwo sieci
- Segmentacja klastrów EXO za pomocą EXO_LIBP2P_NAMESPACE i VLAN
- Konfiguracja zapór sieciowych hosta (macOS application firewall, iptables, nftables) dla portów EXO
- Zapobieganie nieautoryzowanemu wykrywaniu urządzeń i wstrzykiwaniu nieautoryzowanych węzłów
- Szyfrowanie ruchu libp2p między węzłami, gdy RDMA nie jest dostępne
Zarządzanie modelami i pochodzenie
- Budowanie wewnętrznego rejestru modeli z zatwierdzonymi listami modeli i metadanymi
- Oznaczanie i wersjonowanie skwantowanych wag (4-bitowe, 8-bitowe) wraz z punktami kontrolnymi źródłowymi
- Wymuszanie, aby tylko określone repozytoria HuggingFace lub wewnętrzne artefakty mogły być ładowane
- Dokumentowanie pochodzenia modeli, warunków licencji i polityk dopuszczalnego użycia
Rejestrowanie audytu i zgodność
- Konfiguracja przekazywania logów EXO do niezmiennych śladów audytowych (SIEM, WORM storage)
- Korelacja logów wywołań API z tożsamością użytkownika i znacznikiem czasu
- Przechwytywanie zdarzeń tworzenia, usuwania i żądań wnioskowania instancji modeli
- Generowanie okresowych raportów zgodności dla wewnętrznych i zewnętrznych audytorów
Modelowanie zagrożeń i reagowanie na incydenty
- Identyfikacja zagrożeń: eksfiltracja danych przez wyniki modeli, iniekcja promptów, wycieki przez kanały boczne
- Implementacja monitorowania promptów i potoków filtrowania treści
- Tworzenie podręczników postępowania w przypadku incydentów dla scenariuszy kompromitacji klastrów
- Izolowanie dotkniętych węzłów, zachowywanie logów do celów forensycznych i odbudowa czystych środowisk
Bezpieczeństwo fizyczne i granice sprzętowe
- Zabezpieczanie portów Thunderbolt przed nieautoryzowanymi połączeniami kablowymi RDMA
- Używanie bezpiecznych enklaw i atestacji sprzętowej Apple Silicon, jeśli ma to zastosowanie
- Kontrola fizycznego dostępu do zgrupowanych komputerów Mac i udostępnionych zasobów pamięci
- Dokumentowanie cyklu życia sprzętu i procedur wycofania z eksploatacji
Uwzględnienie wymogów regulacyjnych
- Mapowanie wdrożeń EXO na wymagania GDPR, HIPAA i SOC 2
- Utrzymywanie rezydencji danych poprzez utrzymywanie wnioskowania na miejscu
- Dokumentowanie ryzyk związanych z łańcuchem dostaw dostawców (MLX, EXO, wagi modeli)
- Przygotowanie do ram zarządzania AI, takich jak Artykuł 53 unijnej ustawy o AI
Wymagania
- Doświadczenie w pracy z EXO lub innym lokalnym środowiskiem uruchomieniowym LLM
- Zrozumienie uprawnień systemu plików Unix i sieciowych ACL
- Znajomość zarządzania certyfikatami TLS/SSL i podstaw szyfrowania
Odbiorcy
- Inżynierowie bezpieczeństwa
- Inspektorzy zgodności
- Administratorzy infrastruktury AI obsługujący wrażliwe dane
14 godzin
Opinie uczestników (1)
Instruktor miał doskonałą wiedzę o FortiGate i bardzo dobrze przedstawił treść. Serdecznie dziękujemy Sorushowi.
Colin Donohue - Technological University of the Shannon: Midlands Midwest
Szkolenie - FortiGate 7.4 Administration
Przetłumaczone przez sztuczną inteligencję