Dziękujemy za wysłanie zapytania! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Dziękujemy za wysłanie rezerwacji! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Plan Szkolenia
Koncepcje wydajności i metryki
- Opóźnienie, przepustowość, zużycie energii, wykorzystanie zasobów
- Wąskie gardła na poziomie systemu i modelu
- Profilowanie dla wnioskowania a trenowania
Profilowanie na Huawei Ascend
- Korzystanie z CANN Profiler i MindInsight
- Diagnostyka jąder obliczeniowych i operatorów
- Wzorce odciążania i mapowanie pamięci
Profilowanie na Biren GPU
- Funkcje monitorowania wydajności w SDK Biren
- Fuzja jąder, wyrównanie pamięci i kolejki wykonawcze
- Profilowanie uwzględniające moc i temperaturę
Profilowanie na Cambricon MLU
- Narzędzia wydajnościowe BANGPy i Neuware
- Widoczność na poziomie jądra i interpretacja logów
- Integracja profilera MLU z frameworkami wdrożeniowymi
Optymalizacja na poziomie grafu i modelu
- Strategie przycinania grafów i kwantyzacji
- Fuzja operatorów i restrukturyzacja grafu obliczeniowego
- Standaryzacja rozmiaru wejścia i dostrajanie wielkości partii
Optymalizacja pamięci i jąder obliczeniowych
- Optymalizacja układu pamięci i ponownego wykorzystania
- Efektywne zarządzanie buforami na różnych chipsetach
- Techniki dostrajania na poziomie jądra dla każdej platformy
Najlepsze praktyki międzyplatformowe
- Przenośność wydajności: strategie abstrakcji
- Budowanie współdzielonych potoków dostrajania dla środowisk wieloukładowych
- Przykład: dostrajanie modelu detekcji obiektów na platformach Ascend, Biren i MLU
Podsumowanie i dalsze kroki
Wymagania
- Doświadczenie w pracy z potokami trenowania lub wdrażania modeli AI
- Zrozumienie zasad obliczeń GPU/MLU i optymalizacji modeli
- Podstawowa znajomość narzędzi i metryk profilowania wydajności
Grupa docelowa
- Inżynierowie ds. wydajności
- Zespoły infrastruktury uczenia maszynowego
- Architekci systemów AI
21 godzin
