Dziękujemy za wysłanie zapytania! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Dziękujemy za wysłanie rezerwacji! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Plan Szkolenia
Wprowadzenie
- Przegląd wyzwań związanych ze skalowaniem uczenia głębokiego
- Przegląd DeepSpeed i jego funkcji
- DeepSpeed a inne biblioteki rozproszonego uczenia głębokiego
Pierwsze kroki
- Konfiguracja środowiska programistycznego
- Instalowanie PyTorch i DeepSpeed
- Konfigurowanie DeepSpeed do rozproszonego uczenia
Funkcje optymalizacji DeepSpeed
- Potok szkoleniowy DeepSpeed
- ZeRO (optymalizacja pamięci)
- Punkt kontrolny aktywacji
- Punkt kontrolny gradientu
- Równoległość potoku
Skalowanie modeli za pomocą DeepSpeed
- Podstawowe skalowanie przy użyciu DeepSpeed
- Zaawansowane techniki skalowania
- Rozważania dotyczące wydajności i najlepsze praktyki
- Techniki debugowania i rozwiązywania problemów
Zaawansowane tematy DeepSpeed
- Zaawansowane techniki optymalizacji
- Używanie DeepSpeed z treningiem o mieszanej precyzji
- DeepSpeed na różnym sprzęcie (np. GPUs, TPU)
- DeepSpeed z wieloma węzłami szkoleniowymi
Integracja DeepSpeed z PyTorch
- Integracja DeepSpeed z przepływami pracy PyTorch
- Używanie DeepSpeed z PyTorch Lightning
Rozwiązywanie problemów
- Debugowanie typowych problemów DeepSpeed
- Monitorowanie i rejestrowanie
Podsumowanie i kolejne kroki
- Podsumowanie kluczowych pojęć i funkcji
- Najlepsze praktyki dotyczące korzystania z DeepSpeed w środowisku produkcyjnym
- Dalsze zasoby, aby dowiedzieć się więcej o DeepSpeed
Wymagania
- Pośrednia znajomość zasad głębokiego uczenia się
- Doświadczenie z PyTorch lub podobnymi frameworkami głębokiego uczenia się
- Znajomość programowania Python
Odbiorcy
- Naukowcy zajmujący się danymi
- Inżynierowie uczenia maszynowego
- Programiści
21 godzin
Opinie uczestników (3)
Organizacja, przestrzegając proponowanego porządku obrad, wiedza trenera w tej dziedzinie
Ali Kattan - TWPI
Szkolenie - Natural Language Processing with TensorFlow
Przetłumaczone przez sztuczną inteligencję
Dużo wskazówek praktycznych
Pawel Dawidowski - ABB Sp. z o.o.
Szkolenie - Deep Learning with TensorFlow
Odkładany, aktualny podejście lub CPI (TensorFlow, era, learn) do tworzenia uczenia maszynowego.
Paul Lee
Szkolenie - TensorFlow for Image Recognition
Przetłumaczone przez sztuczną inteligencję