Bądźmy w kontakcie

Plan Szkolenia

Wdrażanie EXO w trybie offline

  • Użycie EXO_OFFLINE w celu zapobiegania dostępowi do internetu w czasie działania
  • Wstępne ładowanie modeli do EXO_MODELS_READ_ONLY_DIRS z zaufanych wewnętrznych lustrzanych repozytoriów
  • Weryfikacja integralności wag modeli za pomocą sum kontrolnych SHA-256 i podpisanych kart modeli
  • Uruchamianie EXO w sieciach odizolowanych bez zależności od HuggingFace

Kontrola dostępu do pulpitu nawigacyjnego i API

  • Instalacja i konfiguracja odwrotnych proxy (nginx, Caddy) z zakończeniem TLS
  • Implementacja kontroli dostępu opartej na rolach dla pulpitu nawigacyjnego EXO i REST API
  • Użycie macOS keychain lub Linux pass do przechowywania sekretów do uwierzytelniania API
  • Ograniczenie punktów końcowych administracyjnych do określonych zakresów IP

Izolacja klastrów i bezpieczeństwo sieci

  • Segmentowanie klastrów EXO za pomocą EXO_LIBP2P_NAMESPACE i VLAN
  • Konfiguracja zapór sieciowych hosta (macOS application firewall, iptables, nftables) dla portów EXO
  • Zapobieganie nieautoryzowanemu wykrywaniu urządzeń i wstrzykiwaniu nieautoryzowanych węzłów
  • Szyfrowanie ruchu libp2p między węzłami, gdy RDMA nie jest dostępne

Zarządzanie modelami i pochodzenie

  • Budowanie wewnętrznego rejestru modeli z zatwierdzonymi listami modeli i metadanymi
  • Tagowanie i wersjonowanie skwantyzowanych wag (4-bitowe, 8-bitowe) wraz z punktami kontrolnymi źródłowymi
  • Wymuszanie, aby można było ładować tylko określone repozytoria HuggingFace lub wewnętrzne artefakty
  • Dokumentowanie pochodzenia modeli, warunków licencji i polityk akceptowalnego użycia

Rejestrowanie audytowe i zgodność

  • Konfiguracja przekazywania logów EXO do niezmiennych śladów audytowych (SIEM, pamięć WORM)
  • Korelacja logów wywołań API z tożsamością użytkownika i znacznikiem czasu
  • Przechwytywanie zdarzeń tworzenia, usuwania i żądań wnioskowania instancji modeli
  • Generowanie okresowych raportów zgodności dla audytorów wewnętrznych i zewnętrznych

Modelowanie zagrożeń i reagowanie na incydenty

  • Identyfikacja zagrożeń: eksfiltracja danych przez wyniki modeli, iniekcja promptów, wycieki przez kanały boczne
  • Implementacja monitorowania promptów i potoków filtrowania treści
  • Tworzenie podręczników reagowania na incydenty dla scenariuszy naruszenia klastrów
  • Izolowanie dotkniętych węzłów, zachowywanie logów kryminalistycznych i odbudowa czystych środowisk

Bezpieczeństwo fizyczne i granice sprzętowe

  • Zabezpieczanie portów Thunderbolt przed nieautoryzowanymi połączeniami kablowymi RDMA
  • Użycie bezpiecznych enklaw i sprzętowego uwierzytelniania Apple Silicon, jeśli ma to zastosowanie
  • Kontrola fizycznego dostępu do zgrupowanych komputerów Mac i pamięci współdzielonej
  • Dokumentowanie cyklu życia sprzętu i procedur wycofywania

Uwzględnienie regulacji

  • Mapowanie wdrożeń EXO na wymagania GDPR, HIPAA i SOC 2
  • Utrzymywanie rezydencji danych poprzez utrzymywanie wnioskowania lokalnie
  • Dokumentowanie ryzyk związanych z łańcuchem dostaw dostawców (MLX, EXO, wagi modeli)
  • Przygotowanie do ram zarządzania AI, takich jak Artykuł 53 ustawy UE o AI

Wymagania

  • Doświadczenie z EXO lub innym lokalnym środowiskiem uruchomieniowym LLM
  • Zrozumienie uprawnień systemu plików Unix i sieciowych ACL
  • Znajomość zarządzania certyfikatami TLS/SSL i podstaw szyfrowania

Odbiorcy

  • Inżynierowie bezpieczeństwa
  • Inspektorzy zgodności
  • Administratorzy infrastruktury AI obsługujący wrażliwe dane
 14 godzin

Liczba uczestników


Cena za uczestnika (netto)

Opinie uczestników (1)

Propozycje terminów

Powiązane Kategorie