Plan Szkolenia

Wprowadzenie

  • Przegląd wyzwań związanych ze skalowaniem uczenia głębokiego
  • Przegląd DeepSpeed i jego funkcji
  • DeepSpeed a inne biblioteki rozproszonego uczenia głębokiego

Rozpoczęcie pracy

  • Konfiguracja środowiska programistycznego
  • Instalacja PyTorch i DeepSpeed
  • Konfiguracja DeepSpeed do szkolenia rozproszonego

Funkcje optymalizacji DeepSpeed

  • Potok szkoleniowy DeepSpeed
  • ZeRO (optymalizacja pamięci)
  • Checkpointing aktywacji
  • Checkpointing gradientów
  • Równoległość potokowa

Skalowanie modeli z DeepSpeed

  • Podstawowe skalowanie przy użyciu DeepSpeed
  • Zaawansowane techniki skalowania
  • Zagadnienia dotyczące wydajności i najlepsze praktyki
  • Techniki debugowania i rozwiązywania problemów

Zaawansowane tematy DeepSpeed

  • Zaawansowane techniki optymalizacji
  • Użycie DeepSpeed z mieszaną precyzją szkolenia
  • DeepSpeed na różnych urządzeniach (np. GPU, TPU)
  • DeepSpeed z wieloma węzłami szkoleniowymi

Integracja DeepSpeed z PyTorch

  • Integracja DeepSpeed z przepływami pracy PyTorch
  • Użycie DeepSpeed z PyTorch Lightning

Rozwiązywanie problemów

  • Debugowanie typowych problemów z DeepSpeed
  • Monitorowanie i logowanie

Podsumowanie i kolejne kroki

  • Podsumowanie kluczowych koncepcji i funkcji
  • Najlepsze praktyki dotyczące używania DeepSpeed w produkcji
  • Dalsze zasoby do nauki więcej o DeepSpeed

Wymagania

  • Średnia znajomość zasad uczenia głębokiego
  • Doświadczenie z PyTorch lub podobnymi frameworkami do uczenia głębokiego
  • Znajomość programowania w Pythonie

Odbiorcy

  • Naukowcy zajmujący się danymi
  • Inżynierowie uczenia maszynowego
  • Programiści
 21 godzin

Liczba uczestników


Cena za uczestnika (netto)

Propozycje terminów

Powiązane Kategorie