Plan Szkolenia
Przygotowanie modeli uczenia maszynowego do wdrożenia
- Pakowanie modeli za pomocą Dockera
- Eksportowanie modeli z TensorFlow i PyTorch
- Wersjonowanie i kwestie związane z przechowywaniem
Udostępnianie modeli na Kubernetes
- Przegląd serwerów wnioskowania
- Wdrażanie TensorFlow Serving i TorchServe
- Konfiguracja punktów końcowych modeli
Techniki optymalizacji wnioskowania
- Strategie grupowania
- Obsługa równoległych żądań
- Dostrajanie opóźnień i przepustowości
Automatyczne skalowanie obciążeń ML
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Zarządzanie zasobami i konfiguracja GPU
- Konfiguracja węzłów GPU
- Przegląd wtyczki NVIDIA device plugin
- Żądania i limity zasobów dla obciążeń ML
Strategie wdrażania i wydawania modeli
- Wdrożenia blue/green
- Wzorce wdrożeń canary
- Testy A/B do oceny modeli
Monitorowanie i obserwowalność ML w produkcji
- Metryki dla obciążeń wnioskowania
- Praktyki logowania i śledzenia
- Pulpity nawigacyjne i alerty
Zagadnienia bezpieczeństwa i niezawodności
- Zabezpieczanie punktów końcowych modeli
- Polityki sieciowe i kontrola dostępu
- Zapewnianie wysokiej dostępności
Podsumowanie i kolejne kroki
Wymagania
- Zrozumienie przepływów pracy aplikacji konteneryzowanych
- Doświadczenie w pracy z modelami uczenia maszynowego opartymi na Pythonie
- Znajomość podstaw Kubernetes
Grupa docelowa
- Inżynierowie ML
- Inżynierowie DevOps
- Zespoły inżynierów platformowych
Opinie uczestników (3)
Zaangażowanie i otwartość na rozszerzanie dyskusji o tematy związane z zakresem szkolenia ale ze specyfiką naszej firmy
Michal Koscinski - Volkswagen Poznan Sp. z o.o.
Szkolenie - Docker, Kubernetes and OpenShift 3 for Administrators
O mikroserwisach i sposobie ich utrzymania w Kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Szkolenie - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Przetłumaczone przez sztuczną inteligencję
Jak trener skutecznie przekazuje wiedzę
Vu Thoai Le - Reply Polska sp. z o. o.
Szkolenie - Certified Kubernetes Administrator (CKA) - exam preparation
Przetłumaczone przez sztuczną inteligencję