Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Plan Szkolenia
Wprowadzenie
- Przegląd wyzwań związanych ze skalowaniem uczenia głębokiego
- Przegląd DeepSpeed i jego funkcji
- DeepSpeed a inne biblioteki rozproszonego uczenia głębokiego
Pierwsze kroki
- Konfiguracja środowiska programistycznego
- Instalowanie PyTorch i DeepSpeed
- Konfigurowanie DeepSpeed do rozproszonego uczenia
Funkcje optymalizacji DeepSpeed
- Potok szkoleniowy DeepSpeed
- ZeRO (optymalizacja pamięci)
- Punkt kontrolny aktywacji
- Punkt kontrolny gradientu
- Równoległość potoku
Skalowanie modeli za pomocą DeepSpeed
- Podstawowe skalowanie przy użyciu DeepSpeed
- Zaawansowane techniki skalowania
- Rozważania dotyczące wydajności i najlepsze praktyki
- Techniki debugowania i rozwiązywania problemów
Zaawansowane tematy DeepSpeed
- Zaawansowane techniki optymalizacji
- Używanie DeepSpeed z treningiem o mieszanej precyzji
- DeepSpeed na różnym sprzęcie (np. GPUs, TPU)
- DeepSpeed z wieloma węzłami szkoleniowymi
Integracja DeepSpeed z PyTorch
- Integracja DeepSpeed z przepływami pracy PyTorch
- Używanie DeepSpeed z PyTorch Lightning
Rozwiązywanie problemów
- Debugowanie typowych problemów DeepSpeed
- Monitorowanie i rejestrowanie
Podsumowanie i kolejne kroki
- Podsumowanie kluczowych pojęć i funkcji
- Najlepsze praktyki dotyczące korzystania z DeepSpeed w środowisku produkcyjnym
- Dalsze zasoby, aby dowiedzieć się więcej o DeepSpeed
Wymagania
- Pośrednia znajomość zasad głębokiego uczenia się
- Doświadczenie z PyTorch lub podobnymi frameworkami głębokiego uczenia się
- Znajomość programowania Python
Odbiorcy
- Naukowcy zajmujący się danymi
- Inżynierowie uczenia maszynowego
- Programiści
21 godzin
Opinie uczestników (3)
Organizacja, przestrzegając proponowanego porządku obrad, wiedza trenera w tej dziedzinie
Ali Kattan - TWPI
Szkolenie - Natural Language Processing with TensorFlow
Przetłumaczone przez sztuczną inteligencję
Dużo wskazówek praktycznych
Pawel Dawidowski - ABB Sp. z o.o.
Szkolenie - Deep Learning with TensorFlow
Odkładany, aktualny podejście lub CPI (TensorFlow, era, learn) do tworzenia uczenia maszynowego.
Paul Lee
Szkolenie - TensorFlow for Image Recognition
Przetłumaczone przez sztuczną inteligencję