EXO: Kompleksowe Wdrażanie Lokalnego Klastra AI - Plan Szkolenia

Wprowadzenie do EXO i lokalnego klastrowania AI

• Przegląd platformy EXO i ekosystemu exo-explore
• Porównanie scentralizowanego wnioskowania w chmurze a rozproszonego wnioskowania lokalnego
• Architektura: libp2p do wykrywania urządzeń, backend MLX, dashboard i warstwy API
• Wymagania sprzętowe: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, współdzielona pamięć masowa

Instalacja EXO na macOS

• Konfiguracja Xcode, Metal ToolChain i wymagań wstępnych macOS
• Instalacja uv, Node.js, Rust nightly toolchain
• Instalacja rozwidlenia macmon do monitorowania Apple Silicon
• Klonowanie repozytorium i budowanie dashboardu za pomocą npm
• Uruchamianie EXO ze źródeł i weryfikacja dashboardu na localhost:52415

Instalacja EXO na Linux

• Instalacja zależności za pomocą apt lub Homebrew na Linuxie
• Konfiguracja uv, Node.js 18+ i Rust nightly
• Budowanie dashboardu i uruchamianie EXO w trybie tylko CPU
• Struktura katalogów: ścieżki XDG Base Directory dla konfiguracji, danych, pamięci podręcznej i logów

Automatyczne wykrywanie urządzeń i tworzenie klastra

• Zrozumienie automatycznego wykrywania opartego na libp2p w sieciach lokalnych
• Konfiguracja niestandardowych przestrzeni nazw za pomocą EXO_LIBP2P_NAMESPACE do izolacji klastra
• Weryfikacja członkostwa węzłów w widoku klastra dashboardu
• Rozwiązywanie problemów z wykrywaniem i segmentacją sieci

Włączanie RDMA przez Thunderbolt 5

• Architektura RDMA i twierdzenie o 99-procentowej redukcji opóźnień
• Włączanie RDMA w trybie odzyskiwania macOS za pomocą rdma_ctl
• Wymagania dotyczące kabli i ograniczenia topologii portów na Mac Studio
• Dopasowanie wersji macOS na wszystkich węzłach klastra
• Rozwiązywanie problemów z wykrywaniem RDMA i konfiguracją DHCP

Wdrażanie modeli granicznych

• Korzystanie z dashboardu do ładowania i dzielenia modeli DeepSeek v3.1, Qwen3-235B i rodziny Llama
• Podgląd rozmieszczenia instancji za pomocą punktu końcowego API /instance/previews
• Tworzenie instancji modeli z podziałem na potoki lub równoległość tensorową
• Konfiguracja niestandardowych kart modeli z huba HuggingFace

Monitorowanie i rozwiązywanie problemów

• Czytanie logów EXO i zrozumienie rozproszonego śledzenia
• Interpretacja stanu klastra w widoku klastra dashboardu
• Diagnozowanie awarii węzłów roboczych i zachowania przy ponownym łączeniu
• Korzystanie z EXO_TRACING_ENABLED do analizy wąskich gardeł wydajności

Konserwacja i aktualizacje klastra

• Aktualizacja plików binarnych EXO i procedur przebudowy dashboardu
• Migracja pamięci podręcznej modeli i zarządzanie wcześniej pobranymi modelami przez NFS
• Bezpieczne usuwanie węzłów i równoważenie obciążenia