Plan Szkolenia

Wprowadzenie do optymalizacji dużych modeli

  • Przegląd architektur dużych modeli
  • Wyzwania związane z dostrajaniem dużych modeli
  • Znaczenie opłacalnej optymalizacji

Techniki szkolenia rozproszonego

  • Wprowadzenie do równoległości danych i modeli
  • Ramy dla szkolenia rozproszonego: PyTorch i TensorFlow
  • Skalowanie na wielu GPU i węzłach

Kwantyzacja i przycinanie modeli

  • Zrozumienie technik kwantyzacji
  • Stosowanie przycinania w celu zmniejszenia rozmiaru modelu
  • Kompromisy między dokładnością a wydajnością

Optymalizacja sprzętu

  • Wybór odpowiedniego sprzętu do zadań dostrajania
  • Optymalizacja GPU i wykorzystanie TPU
  • Korzystanie z wyspecjalizowanych akceleratorów dla dużych modeli

Wydajność Data Management

  • Strategie zarządzania dużymi zbiorami danych
  • Przetwarzanie wstępne i grupowanie w celu zwiększenia wydajności
  • Techniki rozszerzania danych

Wdrażanie zoptymalizowanych modeli

  • Techniki wdrażania dopracowanych modeli
  • Monitorowanie i utrzymywanie wydajności modeli
  • Przykłady wdrażania zoptymalizowanych modeli w świecie rzeczywistym

Zaawansowane techniki optymalizacji

  • Odkrywanie adaptacji niskiego rzędu (LoRA)
  • Korzystanie z adapterów do modułowego dostrajania
  • Przyszłe trendy w optymalizacji modeli

Podsumowanie i kolejne kroki

Wymagania

  • Doświadczenie z frameworkami głębokiego uczenia, takimi jak PyTorch lub TensorFlow
  • Znajomość dużych modeli językowych i ich zastosowań
  • Zrozumienie koncepcji przetwarzania rozproszonego

Odbiorcy

  • Inżynierowie uczenia maszynowego
  • Specjaliści ds. sztucznej inteligencji w chmurze
 21 godzin

Liczba uczestników


cena netto za uczestnika

Propozycje terminów

Powiązane Kategorie