DeepSpeed dla uczenia głębokiego - Plan Szkolenia
DeepSpeed to biblioteka optymalizacji uczenia głębokiego, która ułatwia skalowanie modeli uczenia głębokiego na rozproszonym sprzęcie. Opracowany przez Microsoft, DeepSpeed integruje się z PyTorch, zapewniając lepsze skalowanie, szybsze szkolenie i lepsze wykorzystanie zasobów.
To szkolenie prowadzone przez instruktora, na żywo (online lub na miejscu) jest skierowane do początkujących i średnio zaawansowanych naukowców zajmujących się danymi oraz inżynierów uczenia maszynowego, którzy chcą poprawić wydajność swoich modeli uczenia głębokiego.
Pod koniec tego szkolenia uczestnicy będą mogli:
- Zrozumieć zasady rozproszonego uczenia głębokiego.
- Zainstalować i skonfigurować DeepSpeed.
- Skalować modele uczenia głębokiego na rozproszonym sprzęcie przy użyciu DeepSpeed.
- Wdrażaæ i eksperymentować z funkcjami DeepSpeed w celu optymalizacji i efektywności pamięci.
Format kursu
- Interaktywny wykład i dyskusja.
- Dużo ćwiczeń i praktyki.
- Praktyczna implementacja w środowisku live-lab.
Opcje dostosowania kursu
- Aby zamówić dostosowane szkolenie dla tego kursu, prosimy o kontakt w celu uzgodnienia.
Plan Szkolenia
Wprowadzenie
- Przegląd wyzwań związanych ze skalowaniem uczenia głębokiego
- Przegląd DeepSpeed i jego funkcji
- DeepSpeed a inne biblioteki rozproszonego uczenia głębokiego
Rozpoczęcie pracy
- Konfiguracja środowiska programistycznego
- Instalacja PyTorch i DeepSpeed
- Konfiguracja DeepSpeed do szkolenia rozproszonego
Funkcje optymalizacji DeepSpeed
- Potok szkoleniowy DeepSpeed
- ZeRO (optymalizacja pamięci)
- Checkpointing aktywacji
- Checkpointing gradientów
- Równoległość potokowa
Skalowanie modeli z DeepSpeed
- Podstawowe skalowanie przy użyciu DeepSpeed
- Zaawansowane techniki skalowania
- Zagadnienia dotyczące wydajności i najlepsze praktyki
- Techniki debugowania i rozwiązywania problemów
Zaawansowane tematy DeepSpeed
- Zaawansowane techniki optymalizacji
- Użycie DeepSpeed z mieszaną precyzją szkolenia
- DeepSpeed na różnych urządzeniach (np. GPU, TPU)
- DeepSpeed z wieloma węzłami szkoleniowymi
Integracja DeepSpeed z PyTorch
- Integracja DeepSpeed z przepływami pracy PyTorch
- Użycie DeepSpeed z PyTorch Lightning
Rozwiązywanie problemów
- Debugowanie typowych problemów z DeepSpeed
- Monitorowanie i logowanie
Podsumowanie i kolejne kroki
- Podsumowanie kluczowych koncepcji i funkcji
- Najlepsze praktyki dotyczące używania DeepSpeed w produkcji
- Dalsze zasoby do nauki więcej o DeepSpeed
Wymagania
- Średnia znajomość zasad uczenia głębokiego
- Doświadczenie z PyTorch lub podobnymi frameworkami do uczenia głębokiego
- Znajomość programowania w Pythonie
Odbiorcy
- Naukowcy zajmujący się danymi
- Inżynierowie uczenia maszynowego
- Programiści
Szkolenia otwarte są realizowane w przypadku uzbierania się grupy szkoleniowej liczącej co najmniej 5 osób na dany termin.
DeepSpeed dla uczenia głębokiego - Plan Szkolenia - Rezerwacja
DeepSpeed dla uczenia głębokiego - Plan Szkolenia - Zapytanie
DeepSpeed dla uczenia głębokiego - Zapytanie o Konsultacje
Propozycje terminów
Szkolenia Powiązane
Zaawansowane Stable Diffusion: Deep Learning dla generowania obrazów z tekstu
21 godzinTo prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla średnio zaawansowanych i zaawansowanych naukowców zajmujących się danymi, inżynierów uczenia maszynowego, badaczy głębokiego uczenia się i ekspertów od wizji komputerowej, którzy chcą poszerzyć swoją wiedzę i umiejętności w zakresie głębokiego uczenia się w celu generowania tekstu na obraz.
Pod koniec tego szkolenia uczestnicy będą mogli
- Zrozumieć zaawansowane architektury i techniki głębokiego uczenia się do generowania tekstu na obraz.
- Wdrożyć złożone modele i optymalizacje dla wysokiej jakości syntezy obrazu.
- Optymalizować wydajność i skalowalność dla dużych zbiorów danych i złożonych modeli.
- Dostrajanie hiperparametrów w celu uzyskania lepszej wydajności i uogólnienia modelu.
- Integracja Stable Diffusion z innymi strukturami i narzędziami głębokiego uczenia się
AlphaFold
7 godzinTo prowadzone przez instruktora szkolenie na żywo w Polsce (online lub na miejscu) jest przeznaczone dla biologów, którzy chcą zrozumieć, jak działa AlphaFold i używać modeli AlphaFold jako przewodników w swoich badaniach eksperymentalnych.
Pod koniec tego szkolenia uczestnicy będą w stanie
- Zrozumieć podstawowe zasady AlphaFold.
- Dowiedzieć się, jak działa AlphaFold.
- Dowiedzieć się, jak interpretować prognozy i wyniki AlphaFold.
Applied AI od Podstaw
28 godzinTo 4-dniowy kurs wprowadzający do sztucznej inteligencji i jej zastosowań. Istnieje możliwość dodatkowego dnia na realizację projektu związanego z AI po zakończeniu kursu.
Sieci neuronowe głębokiego uczenia z Chainer
14 godzinTen prowadzony przez instruktora, live trening w Polsce (online lub na miejscu) jest skierowany do badaczy i programistów, którzy chcą używać Chainera do budowania i trenowania sieci neuronowych w Pythonie, jednocześnie ułatwiając debugowanie kodu.
Pod koniec szkolenia uczestnicy będą mogli:
- Skonfigurować niezbędne środowisko programistyczne, aby rozpocząć tworzenie modeli sieci neuronowych.
- Zdefiniować i zaimplementować modele sieci neuronowych przy użyciu zrozumiałego kodu źródłowego.
- Wykonywać przykłady i modyfikować istniejące algorytmy w celu optymalizacji modeli treningowych głębokiego uczenia, wykorzystując jednocześnie GPU do wysokiej wydajności.
Computer Vision z Google Colab i TensorFlow
21 godzinTo szkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu), skierowane jest do profesjonalistów na zaawansowanym poziomie, którzy chcą pogłębić swoją wiedzę na temat computer vision i poznać możliwości TensorFlow w zakresie tworzenia zaawansowanych modeli wizyjnych przy użyciu Google Colab.
Po zakończeniu szkolenia uczestnicy będą mogli:
- Budować i trenować konwolucyjne sieci neuronowe (CNNs) przy użyciu TensorFlow.
- Wykorzystywać Google Colab do skalowalnego i efektywnego rozwoju modeli w chmurze.
- Stosować techniki wstępnego przetwarzania obrazów do zadań computer vision.
- Wdrażać modele computer vision do rzeczywistych zastosowań.
- Wykorzystywać transfer learning, aby poprawić wydajność modeli CNN.
- Wizualizować i interpretować wyniki modeli klasyfikacji obrazów.
Deep Learning z TensorFlow w Google Colab
14 godzinTo szkolenie prowadzone przez instruktora na żywo w Polsce (online lub na miejscu) jest skierowane do średniozaawansowanych naukowców zajmujących się danymi i programistów, którzy chcą zrozumieć i stosować techniki głębokiego uczenia w środowisku Google Colab.
Po zakończeniu szkolenia uczestnicy będą mogli:
- Skonfigurować i poruszać się po Google Colab w projektach związanych z głębokim uczeniem.
- Zrozumieć podstawy sieci neuronowych.
- Implementować modele głębokiego uczenia za pomocą TensorFlow.
- Trenować i oceniać modele głębokiego uczenia.
- Wykorzystywać zaawansowane funkcje TensorFlow do głębokiego uczenia.
Deep Learning dla NLP (Przetwarzanie Języka Naturalnego)
28 godzinW tym szkoleniu prowadzonym przez instruktora, uczestnicy nauczą się używać bibliotek Pythona do NLP, tworząc aplikację, która przetwarza zestaw zdjęć i generuje podpisy.
Po zakończeniu szkolenia uczestnicy będą mogli:
- Projektować i kodować DL dla NLP przy użyciu bibliotek Pythona.
- Tworzyć kod w Pythonie, który czyta znacznie dużą kolekcję zdjęć i generuje słowa kluczowe.
- Tworzyć kod w Pythonie, który generuje podpisy z wykrytych słów kluczowych.
Uczenie głębokie dla wizji
21 godzinGrupa docelowa
Ten kurs jest dedykowany badaczom i inżynierom z dziedziny uczenia głębokiego zainteresowanym wykorzystaniem dostępnych narzędzi (w większości open source) do analizy obrazów komputerowych.
Kurs dostarcza przykładowych, praktycznych zadań.
Edge AI z TensorFlow Lite
14 godzinTen szkoleniowy, prowadzony przez instruktora, w trybie Polsce (online lub na miejscu) jest skierowany do rozwiniętych programistów, naukowców danych oraz praktyków AI, którzy chcą wykorzystać TensorFlow Lite do zastosowań Edge AI.
Po zakończeniu tego szkolenia uczestnicy będą w stanie:
- Zrozumieć podstawy TensorFlow Lite i jego rolę w Edge AI.
- Rozwijać i optymalizować modele AI za pomocą TensorFlow Lite.
- Wdrażać modele TensorFlow Lite na różnych urządzeniach edge.
- Wykorzystywać narzędzia i techniki do konwersji i optymalizacji modeli.
- Wdrażać praktyczne aplikacje Edge AI za pomocą TensorFlow Lite.
Przyspieszanie uczenia głębokiego za pomocą FPGA i OpenVINO
35 godzinTo szkolenie prowadzone przez instruktora na żywo w Polsce (online lub na miejscu) jest skierowane do naukowców zajmujących się danymi, którzy chcą przyspieszyć aplikacje uczenia maszynowego w czasie rzeczywistym i wdrażać je na dużą skalę.
Pod koniec szkolenia uczestnicy będą mogli:
- Zainstalować zestaw narzędzi OpenVINO.
- Przyspieszyć aplikację do przetwarzania obrazów za pomocą FPGA.
- Wykonywać różne warstwy CNN na FPGA.
- Skalować aplikację na wielu węzłach w klastrze Kubernetes.
Wykrywanie oszustw z użyciem Pythona i TensorFlow
14 godzinSzkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla analityków danych, którzy chcą wykorzystać TensorFlow do analizy danych dotyczących potencjalnych oszustw.
Po zakończeniu tego szkolenia uczestnicy będą w stanie
- Stworzyć model wykrywania oszustw w Python i TensorFlow.
- Zbudować regresje liniowe i modele regresji liniowej do przewidywania oszustw.
- Opracować kompleksową aplikację AI do analizy danych dotyczących oszustw.
Rozproszone uczenie głębokie z Horovod
7 godzinTo szkolenie prowadzone przez instruktora w Polsce (online lub na miejscu) jest skierowane do programistów lub naukowców zajmujących się danymi, którzy chcą wykorzystać Horovod do prowadzenia rozproszonych treningów uczenia głębokiego i skalowania ich do działania na wielu GPU równolegle.
Po zakończeniu szkolenia uczestnicy będą mogli:
- Skonfigurować niezbędne środowisko programistyczne do uruchamiania treningów uczenia głębokiego.
- Zainstalować i skonfigurować Horovod do trenowania modeli z TensorFlow, Keras, PyTorch oraz Apache MXNet.
- Skalować trening uczenia głębokiego z Horovod do działania na wielu GPU.
Deep Learning z Keras
21 godzinTo szkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu) jest skierowane do osób technicznych, które chcą zastosować modele uczenia głębokiego w aplikacjach rozpoznawania obrazów.
Po zakończeniu szkolenia uczestnicy będą mogli:
- Zainstalować i skonfigurować Keras.
- Szybko tworzyć prototypy modeli uczenia głębokiego.
- Zaimplementować sieć splotową.
- Zaimplementować sieć rekurencyjną.
- Wykonać model uczenia głębokiego zarówno na CPU, jak i GPU.
Wprowadzenie do Stable Diffusion do generowania obrazów z tekstu
21 godzinTo szkolenie prowadzone przez instruktora, na żywo (online lub na miejscu) jest skierowane do naukowców zajmujących się danymi, inżynierów uczenia maszynowego oraz badaczy wizji komputerowej, którzy chcą wykorzystać Stable Diffusion do generowania wysokiej jakości obrazów w różnych zastosowaniach.
Po zakończeniu szkolenia uczestnicy będą mogli:
- Zrozumieć zasady działania Stable Diffusion i jak działa ono w generowaniu obrazów.
- Tworzyć i trenować modele Stable Diffusion do zadań generowania obrazów.
- Stosować Stable Diffusion w różnych scenariuszach generowania obrazów, takich jak inpainting, outpainting i tłumaczenie obrazu na obraz.
- Optymalizować wydajność i stabilność modeli Stable Diffusion.
Tensorflow Lite dla Mikrokontrolerów
21 godzinTo szkolenie prowadzone przez instruktora na żywo w Polsce (online lub na miejscu) jest skierowane do inżynierów, którzy chcą pisać, ładować i uruchamiać modele uczenia maszynowego na bardzo małych urządzeniach wbudowanych.
Pod koniec tego szkolenia uczestnicy będą mogli:
- Zainstalować TensorFlow Lite.
- Zładować modele uczenia maszynowego na urządzenie wbudowane, aby umożliwić mu wykrywanie mowy, klasyfikowanie obrazów itp.
- Dodać sztuczną inteligencję do urządzeń sprzętowych bez polegania na łączności sieciowej.