Bądźmy w kontakcie

Plan Szkolenia

Wdrożenie EXO w trybie offline

  • Użycie EXO_OFFLINE w celu uniknięcia dostępu do internetu w czasie działania
  • Wstępne ładowanie modeli do EXO_MODELS_READ_ONLY_DIRS z zaufanych wewnętrznych lustrzanych kopii
  • Weryfikacja integralności wag modeli za pomocą sum kontrolnych SHA-256 i podpisanych kart modeli
  • Uruchamianie EXO w sieciach odizolowanych bez zależności od HuggingFace

Kontrola dostępu do pulpitu nawigacyjnego i API

  • Instalacja i konfiguracja odwrotnych proxy (nginx, Caddy) z zakończeniem TLS
  • Implementacja kontroli dostępu opartej na rolach dla pulpitu nawigacyjnego i REST API EXO
  • Użycie macOS keychain lub Linux pass do przechowywania sekretów uwierzytelniania API
  • Ograniczenie punktów końcowych administracyjnych do określonych zakresów IP źródłowych

Izolacja klastrów i bezpieczeństwo sieci

  • Segmentacja klastrów EXO za pomocą EXO_LIBP2P_NAMESPACE i VLAN
  • Konfiguracja zapór sieciowych hosta (macOS application firewall, iptables, nftables) dla portów EXO
  • Zapobieganie nieautoryzowanemu wykrywaniu urządzeń i wstrzykiwaniu nieautoryzowanych węzłów
  • Szyfrowanie ruchu libp2p między węzłami, gdy RDMA nie jest dostępne

Zarządzanie modelami i pochodzenie

  • Budowanie wewnętrznego rejestru modeli z zatwierdzonymi listami modeli i metadanymi
  • Oznaczanie i wersjonowanie skwantowanych wag (4-bitowe, 8-bitowe) wraz z punktami kontrolnymi źródłowymi
  • Wymuszanie, aby tylko określone repozytoria HuggingFace lub wewnętrzne artefakty mogły być ładowane
  • Dokumentowanie pochodzenia modeli, warunków licencji i polityk dopuszczalnego użycia

Rejestrowanie audytu i zgodność

  • Konfiguracja przekazywania logów EXO do niezmiennych śladów audytowych (SIEM, WORM storage)
  • Korelacja logów wywołań API z tożsamością użytkownika i znacznikiem czasu
  • Przechwytywanie zdarzeń tworzenia, usuwania i żądań wnioskowania instancji modeli
  • Generowanie okresowych raportów zgodności dla wewnętrznych i zewnętrznych audytorów

Modelowanie zagrożeń i reagowanie na incydenty

  • Identyfikacja zagrożeń: eksfiltracja danych przez wyniki modeli, iniekcja promptów, wycieki przez kanały boczne
  • Implementacja monitorowania promptów i potoków filtrowania treści
  • Tworzenie podręczników postępowania w przypadku incydentów dla scenariuszy kompromitacji klastrów
  • Izolowanie dotkniętych węzłów, zachowywanie logów do celów forensycznych i odbudowa czystych środowisk

Bezpieczeństwo fizyczne i granice sprzętowe

  • Zabezpieczanie portów Thunderbolt przed nieautoryzowanymi połączeniami kablowymi RDMA
  • Używanie bezpiecznych enklaw i atestacji sprzętowej Apple Silicon, jeśli ma to zastosowanie
  • Kontrola fizycznego dostępu do zgrupowanych komputerów Mac i udostępnionych zasobów pamięci
  • Dokumentowanie cyklu życia sprzętu i procedur wycofania z eksploatacji

Uwzględnienie wymogów regulacyjnych

  • Mapowanie wdrożeń EXO na wymagania GDPR, HIPAA i SOC 2
  • Utrzymywanie rezydencji danych poprzez utrzymywanie wnioskowania na miejscu
  • Dokumentowanie ryzyk związanych z łańcuchem dostaw dostawców (MLX, EXO, wagi modeli)
  • Przygotowanie do ram zarządzania AI, takich jak Artykuł 53 unijnej ustawy o AI

Wymagania

  • Doświadczenie w pracy z EXO lub innym lokalnym środowiskiem uruchomieniowym LLM
  • Zrozumienie uprawnień systemu plików Unix i sieciowych ACL
  • Znajomość zarządzania certyfikatami TLS/SSL i podstaw szyfrowania

Odbiorcy

  • Inżynierowie bezpieczeństwa
  • Inspektorzy zgodności
  • Administratorzy infrastruktury AI obsługujący wrażliwe dane
 14 godzin

Liczba uczestników


Cena za uczestnika (netto)

Opinie uczestników (1)

Propozycje terminów

Powiązane Kategorie