Plan Szkolenia

Wprowadzenie

  • Przegląd wyzwań związanych ze skalowaniem uczenia głębokiego
  • Przegląd DeepSpeed i jego funkcji
  • DeepSpeed a inne biblioteki rozproszonego uczenia głębokiego

Pierwsze kroki

  • Konfiguracja środowiska programistycznego
  • Instalowanie PyTorch i DeepSpeed
  • Konfigurowanie DeepSpeed do rozproszonego uczenia

Funkcje optymalizacji DeepSpeed

  • Potok szkoleniowy DeepSpeed
  • ZeRO (optymalizacja pamięci)
  • Punkt kontrolny aktywacji
  • Punkt kontrolny gradientu
  • Równoległość potoku

Skalowanie modeli za pomocą DeepSpeed

  • Podstawowe skalowanie przy użyciu DeepSpeed
  • Zaawansowane techniki skalowania
  • Rozważania dotyczące wydajności i najlepsze praktyki
  • Techniki debugowania i rozwiązywania problemów

Zaawansowane tematy DeepSpeed

  • Zaawansowane techniki optymalizacji
  • Używanie DeepSpeed z treningiem o mieszanej precyzji
  • DeepSpeed na różnym sprzęcie (np. GPUs, TPU)
  • DeepSpeed z wieloma węzłami szkoleniowymi

Integracja DeepSpeed z PyTorch

  • Integracja DeepSpeed z przepływami pracy PyTorch
  • Używanie DeepSpeed z PyTorch Lightning

Rozwiązywanie problemów

  • Debugowanie typowych problemów DeepSpeed
  • Monitorowanie i rejestrowanie

Podsumowanie i kolejne kroki

  • Podsumowanie kluczowych pojęć i funkcji
  • Najlepsze praktyki dotyczące korzystania z DeepSpeed w środowisku produkcyjnym
  • Dalsze zasoby, aby dowiedzieć się więcej o DeepSpeed

Wymagania

  • Pośrednia znajomość zasad głębokiego uczenia się
  • Doświadczenie z PyTorch lub podobnymi frameworkami głębokiego uczenia się
  • Znajomość programowania Python

Odbiorcy

  • Naukowcy zajmujący się danymi
  • Inżynierowie uczenia maszynowego
  • Programiści
 21 godzin

Liczba uczestników


cena netto za uczestnika

Propozycje terminów

Powiązane Kategorie