Bądźmy w kontakcie

Plan Szkolenia

Wprowadzenie do EXO i lokalnego klastrowania AI

  • Przegląd frameworku EXO i ekosystemu exo-explore
  • Porównanie scentralizowanej inferencji w chmurze a rozproszonej inferencji lokalnej
  • Architektura: wykrywanie urządzeń libp2p, backend MLX, dashboard i warstwy API
  • Wymagania sprzętowe: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, wspólna pamięć masowa

Instalacja EXO na macOS

  • Konfiguracja Xcode, Metal ToolChain i wymagań wstępnych macOS
  • Instalacja uv, Node.js, Rust nightly toolchain
  • Instalacja rozwidlenia macmon do monitorowania Apple Silicon
  • Klonowanie repozytorium i budowanie dashboardu za pomocą npm
  • Uruchamianie EXO z kodu źródłowego i weryfikacja dashboardu localhost:52415

Instalacja EXO na Linux

  • Instalacja zależności za pomocą apt lub Homebrew na Linuxie
  • Konfiguracja uv, Node.js 18+ i Rust nightly
  • Budowanie dashboardu i uruchamianie EXO w trybie tylko CPU
  • Struktura katalogów: ścieżki XDG Base Directory dla konfiguracji, danych, pamięci podręcznej i logów

Automatyczne wykrywanie urządzeń i tworzenie klastra

  • Zrozumienie automatycznego wykrywania opartego na libp2p w lokalnych sieciach
  • Konfiguracja niestandardowych przestrzeni nazw za pomocą EXO_LIBP2P_NAMESPACE do izolacji klastra
  • Weryfikacja członkostwa węzłów w widoku klastra dashboardu
  • Rozwiązywanie problemów z wykrywaniem i segmentacją sieci

Włączanie RDMA przez Thunderbolt 5

  • Architektura RDMA i twierdzenie o 99% redukcji opóźnień
  • Włączanie RDMA w trybie odzyskiwania macOS za pomocą rdma_ctl
  • Wymagania dotyczące kabli i ograniczenia topologii portów w Mac Studio
  • Dopasowanie wersji macOS na wszystkich węzłach klastra
  • Rozwiązywanie problemów z wykrywaniem RDMA i konfiguracją DHCP

Wdrażanie modeli granicznych

  • Użycie dashboardu do ładowania i dzielenia modeli DeepSeek v3.1, Qwen3-235B oraz rodziny Llama
  • Podgląd rozmieszczenia instancji za pomocą punktu końcowego API /instance/previews
  • Tworzenie instancji modeli z podziałem na potoki lub równoległość tensorową
  • Konfiguracja niestandardowych kart modeli z hubu HuggingFace

Monitorowanie i rozwiązywanie problemów

  • Czytanie logów EXO i zrozumienie rozproszonego śledzenia
  • Interpretacja stanu klastra w widoku klastra dashboardu
  • Diagnozowanie awarii węzłów pracowniczych i zachowania podczas ponownego łączenia
  • Użycie EXO_TRACING_ENABLED do analizy wąskich gardeł wydajności

Konserwacja i aktualizacja klastra

  • Aktualizacja plików binarnych EXO i procedury ponownej budowy dashboardu
  • Migracja pamięci podręcznej modeli i zarządzanie wstępnie pobranymi modelami przez NFS
  • Bezpieczne usuwanie węzłów i równoważenie obciążenia

Wymagania

  • Zrozumienie podstaw sieciowych (IP, podział na podsieci, zapory ogniowe)
  • Doświadczenie w administracji wierszem poleceń macOS lub Linux
  • Znajomość zarządzania pakietami Python (pip/uv) i narzędzi Node.js

Odbiorcy

  • Administratorzy systemów
  • Inżynierowie DevOps
  • Architekci infrastruktury AI odpowiedzialni za wdrażanie LLM na miejscu
 21 godzin

Liczba uczestników


Cena za uczestnika (netto)

Propozycje terminów

Powiązane Kategorie