Dziękujemy za wysłanie zapytania! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Dziękujemy za wysłanie rezerwacji! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Plan Szkolenia
Wprowadzenie
- Przegląd wyzwań związanych ze skalowaniem uczenia głębokiego
- Przegląd DeepSpeed i jego funkcji
- DeepSpeed a inne biblioteki rozproszonego uczenia głębokiego
Rozpoczęcie pracy
- Konfiguracja środowiska programistycznego
- Instalacja PyTorch i DeepSpeed
- Konfiguracja DeepSpeed do szkolenia rozproszonego
Funkcje optymalizacji DeepSpeed
- Potok szkoleniowy DeepSpeed
- ZeRO (optymalizacja pamięci)
- Checkpointing aktywacji
- Checkpointing gradientów
- Równoległość potokowa
Skalowanie modeli z DeepSpeed
- Podstawowe skalowanie przy użyciu DeepSpeed
- Zaawansowane techniki skalowania
- Zagadnienia dotyczące wydajności i najlepsze praktyki
- Techniki debugowania i rozwiązywania problemów
Zaawansowane tematy DeepSpeed
- Zaawansowane techniki optymalizacji
- Użycie DeepSpeed z mieszaną precyzją szkolenia
- DeepSpeed na różnych urządzeniach (np. GPU, TPU)
- DeepSpeed z wieloma węzłami szkoleniowymi
Integracja DeepSpeed z PyTorch
- Integracja DeepSpeed z przepływami pracy PyTorch
- Użycie DeepSpeed z PyTorch Lightning
Rozwiązywanie problemów
- Debugowanie typowych problemów z DeepSpeed
- Monitorowanie i logowanie
Podsumowanie i kolejne kroki
- Podsumowanie kluczowych koncepcji i funkcji
- Najlepsze praktyki dotyczące używania DeepSpeed w produkcji
- Dalsze zasoby do nauki więcej o DeepSpeed
Wymagania
- Średnia znajomość zasad uczenia głębokiego
- Doświadczenie z PyTorch lub podobnymi frameworkami do uczenia głębokiego
- Znajomość programowania w Pythonie
Odbiorcy
- Naukowcy zajmujący się danymi
- Inżynierowie uczenia maszynowego
- Programiści
21 godzin
Opinie uczestników (2)
Interaktywność szkolenia. Dużo eksperymentowaliśmy.
Lidia Opuchlik - Orange Szkolenia
Szkolenie - Deep Reinforcement Learning with Python
Naprawdę przypadłem do gustu koniec, gdy mieliśmy okazję bawić się CHAT GPT. Sala nie była najlepiej przygotowana do tego - zamiast jednego dużego stołu, kilka mniejszych, które umożliwiłyby nam podzielenie się na małe grupy i brainstorming, byłoby bardziej pomocne.
Nola - Laramie County Community College
Szkolenie - Artificial Intelligence (AI) Overview
Przetłumaczone przez sztuczną inteligencję