Dziękujemy za wysłanie zapytania! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Dziękujemy za wysłanie rezerwacji! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Plan Szkolenia
Przegląd możliwości optymalizacji CANN
- Jak wydajność wnioskowania jest obsługiwana w CANN
- Cele optymalizacji dla systemów edge i wbudowanych AI
- Zrozumienie wykorzystania AI Core i alokacji pamięci
Korzystanie z Graph Engine do analizy
- Wprowadzenie do Graph Engine i potoku wykonawczego
- Wizualizacja grafów operatorów i metryk czasu wykonania
- Modyfikacja grafów obliczeniowych w celu optymalizacji
Narzędzia do profilowania i metryki wydajności
- Korzystanie z narzędzia profilującego CANN (profiler) do analizy obciążenia
- Analiza czasu wykonania jądra i wąskich gardeł
- Profilowanie dostępu do pamięci i strategie kafelkowania
Rozwój niestandardowych operatorów z TIK
- Przegląd TIK i modelu programowania operatorów
- Implementacja niestandardowego operatora przy użyciu TIK DSL
- Testowanie i porównywanie wydajności operatorów
Zaawansowana optymalizacja operatorów z TVM
- Wprowadzenie do integracji TVM z CANN
- Strategie automatycznego dostrajania grafów obliczeniowych
- Kiedy i jak przełączać się między TVM a TIK
Techniki optymalizacji pamięci
- Zarządzanie układem pamięci i rozmieszczeniem buforów
- Techniki redukcji zużycia pamięci na chipie
- Najlepsze praktyki dotyczące asynchronicznego wykonywania i ponownego wykorzystania
Wdrożenie w rzeczywistych warunkach i studia przypadków
- Studium przypadku: dostrajanie wydajności dla potoku kamer w inteligentnym mieście
- Studium przypadku: optymalizacja stosu wnioskowania w pojazdach autonomicznych
- Wytyczne dotyczące iteracyjnego profilowania i ciągłego doskonalenia
Podsumowanie i kolejne kroki
Wymagania
- Solidne zrozumienie architektur modeli uczenia głębokiego i przepływów pracy związanych z trenowaniem
- Doświadczenie we wdrażaniu modeli przy użyciu CANN, TensorFlow lub PyTorch
- Znajomość interfejsu wiersza poleceń Linux, skryptów powłoki i programowania w Pythonie
Grupa docelowa
- Inżynierowie wydajności AI
- Specjaliści od optymalizacji wnioskowania
- Programiści pracujący z edge AI lub systemami czasu rzeczywistego
14 godzin