Plan Szkolenia

Przegląd możliwości optymalizacji CANN

  • Jak wydajność wnioskowania jest obsługiwana w CANN
  • Cele optymalizacji dla systemów edge i wbudowanych AI
  • Zrozumienie wykorzystania AI Core i alokacji pamięci

Korzystanie z Graph Engine do analizy

  • Wprowadzenie do Graph Engine i potoku wykonawczego
  • Wizualizacja grafów operatorów i metryk czasu wykonania
  • Modyfikacja grafów obliczeniowych w celu optymalizacji

Narzędzia do profilowania i metryki wydajności

  • Korzystanie z narzędzia profilującego CANN (profiler) do analizy obciążenia
  • Analiza czasu wykonania jądra i wąskich gardeł
  • Profilowanie dostępu do pamięci i strategie kafelkowania

Rozwój niestandardowych operatorów z TIK

  • Przegląd TIK i modelu programowania operatorów
  • Implementacja niestandardowego operatora przy użyciu TIK DSL
  • Testowanie i porównywanie wydajności operatorów

Zaawansowana optymalizacja operatorów z TVM

  • Wprowadzenie do integracji TVM z CANN
  • Strategie automatycznego dostrajania grafów obliczeniowych
  • Kiedy i jak przełączać się między TVM a TIK

Techniki optymalizacji pamięci

  • Zarządzanie układem pamięci i rozmieszczeniem buforów
  • Techniki redukcji zużycia pamięci na chipie
  • Najlepsze praktyki dotyczące asynchronicznego wykonywania i ponownego wykorzystania

Wdrożenie w rzeczywistych warunkach i studia przypadków

  • Studium przypadku: dostrajanie wydajności dla potoku kamer w inteligentnym mieście
  • Studium przypadku: optymalizacja stosu wnioskowania w pojazdach autonomicznych
  • Wytyczne dotyczące iteracyjnego profilowania i ciągłego doskonalenia

Podsumowanie i kolejne kroki

Wymagania

  • Solidne zrozumienie architektur modeli uczenia głębokiego i przepływów pracy związanych z trenowaniem
  • Doświadczenie we wdrażaniu modeli przy użyciu CANN, TensorFlow lub PyTorch
  • Znajomość interfejsu wiersza poleceń Linux, skryptów powłoki i programowania w Pythonie

Grupa docelowa

  • Inżynierowie wydajności AI
  • Specjaliści od optymalizacji wnioskowania
  • Programiści pracujący z edge AI lub systemami czasu rzeczywistego
 14 godzin

Liczba uczestników


Cena za uczestnika

Propozycje terminów

Powiązane Kategorie