Dziękujemy za wysłanie zapytania! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Dziękujemy za wysłanie rezerwacji! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Czas trwania 14 godzin
Plan Szkolenia
Przegląd możliwości optymalizacji CANN
- Jak obsługiwana jest wydajność wnioskowania w CANN
- Cele optymalizacji dla systemów AI brzegowych i wbudowanych
- Zrozumienie wykorzystania rdzeni AI i alokacji pamięci
Wykorzystanie Graph Engine do analizy
- Wprowadzenie do Graph Engine i potoku wykonywania
- Wizualizacja grafów operatorów i metryk środowiska uruchomieniowego
- Modyfikowanie grafów obliczeniowych w celu optymalizacji
Narzędzia profilowania i metryki wydajności
- Korzystanie z narzędzia CANN Profiling Tool (profiler) do analizy obciążeń
- Analiza czasu wykonywania jąder i wąskich gardeł
- Profilowanie dostępu do pamięci i strategie kafelkowania
Tworzenie niestandardowych operatorów przy użyciu TIK
- Przegląd TIK i modelu programowania operatorów
- Implementacja niestandardowego operatora przy użyciu TIK DSL
- Testowanie i testy porównawcze wydajności operatorów
Zaawansowana optymalizacja operatorów przy użyciu TVM
- Wprowadzenie do integracji TVM z CANN
- Strategie automatycznego strojenia grafów obliczeniowych
- Kiedy i jak przełączać się między TVM a TIK
Techniki optymalizacji pamięci
- Zarządzanie układem pamięci i rozmieszczeniem buforów
- Techniki zmniejszania zużycia pamięci wbudowanej
- Najlepsze praktyki wykonywania asynchronicznego i ponownego wykorzystania
Wdrożenia w świecie rzeczywistym i studia przypadków
- Studium przypadku: strojenie wydajności potoku kamer inteligentnego miasta
- Studium przypadku: optymalizacja stosu wnioskowania pojazdu autonomicznego
- Wytyczne dotyczące iteracyjnego profilowania i ciągłego doskonalenia
Podsumowanie i kolejne kroki
Wymagania
- Dobra znajomość architektur modeli uczenia głębokiego i procesów trenowania
- Doświadczenie we wdrażaniu modeli przy użyciu CANN, TensorFlow lub PyTorch
- Znajomość interfejsu CLI systemu Linux, skryptów powłoki i programowania w Pythonie
Grupa docelowa
- Inżynierowie ds. wydajności AI
- Specjaliści ds. optymalizacji wnioskowania
- Programiści pracujący z AI brzegową lub systemami czasu rzeczywistego
