Plan Szkolenia

Pojęcia i metryki wydajności

  • Opóźnienie, przepustowość, zużycie energii, wykorzystanie zasobów
  • Wąskie gardła na poziomie systemu vs modelu
  • Profilowanie dla wnioskowania vs trenowania

Profilowanie na Huawei Ascend

  • Korzystanie z CANN Profiler i MindInsight
  • Diagnostyka jądra i operatora
  • Wzorce offload i mapowanie pamięci

Profilowanie na Biren GPU

  • Funkcje monitorowania wydajności w Biren SDK
  • Fuzja jądra, wyrównanie pamięci i kolejki wykonania
  • Profilowanie z uwzględnieniem mocy i temperatury

Profilowanie na Cambricon MLU

  • Narzędzia wydajnościowe BANGPy i Neuware
  • Widoczność na poziomie jądra i interpretacja logów
  • Integracja profilera MLU z frameworkami wdrożeniowymi

Optymalizacja na poziomie grafu i modelu

  • Strategie przycinania grafu i kwantyzacji
  • Fuzja operatorów i restrukturyzacja grafu obliczeniowego
  • Standaryzacja rozmiaru wejścia i dostosowanie partii

Optymalizacja pamięci i jądra

  • Optymalizacja układu pamięci i ponownego wykorzystania
  • Efektywne zarządzanie buforami na różnych chipsetach
  • Techniki dostosowywania na poziomie jądra dla każdej platformy

Najlepsze praktyki międzyplatformowe

  • Przenośność wydajności: strategie abstrakcji
  • Budowanie wspólnych potoków dostosowywania dla środowisk wielochipowych
  • Przykład: dostosowanie modelu detekcji obiektów na platformach Ascend, Biren i MLU

Podsumowanie i kolejne kroki

Wymagania

  • Doświadczenie w pracy z potokami trenowania lub wdrażania modeli AI
  • Zrozumienie zasad obliczeń GPU/MLU i optymalizacji modeli
  • Podstawowa znajomość narzędzi profilowania wydajności i metryk

Odbiorcy

  • Inżynierowie wydajności
  • Zespoły infrastruktury uczenia maszynowego
  • Architekci systemów AI
 21 godzin

Liczba uczestników


Cena za uczestnika

Propozycje terminów

Powiązane Kategorie