Plan Szkolenia
Przygotowywanie modeli uczenia maszynowego do wdrożenia
- Pakowanie modeli za pomocą Docker
- Eksportowanie modeli z TensorFlow i PyTorch
- Rozważania dotyczące wersjonowania i przechowywania
Obsługa modelu na Kubernetes
- Przegląd serwerów inferencyjnych
- Wdrażanie TensorFlow Serving i TorchServe
- Konfigurowanie punktów końcowych modeli
Techniki optymalizacji inferencji
- Strategie batchowania
- Obsługa zapytań równoległych
- Dostosowywanie opóźnień i przepustowości
Autorskalowanie obciążenia ML
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Konfiguracja i zarządzanie zasobami GPU
- Konfigurowanie węzłów GPU
- Przegląd pluginu urządzenia NVIDIA
- Żądania i limity zasobów dla obciążenia ML
Strategie wdrażania i wydawania modeli
- Wdrożenia blue/green
- wzorce wdrożeń canary
- Testy A/B do oceny modeli
Monitorowanie i obserwowalność ML w produkcji
- Metryki dla obciążeń inferencyjnych
- Praktyki logowania i śledzenia
- Tablice rozkładu pracy i alertowanie
Rozważania dotyczące bezpieczeństwa i niezawodności
- Bezpieczne punkty końcowe modeli
- Zasady sieciowe i kontrola dostępu
- Zapewnienie wysokiej dostępności
Podsumowanie i kolejne kroki
Wymagania
- Zrozumienie przepływów roboczych aplikacji konteneryzowanych
- Doświadczenie w pracy z modelami uczenia maszynowego opartymi na Pythonie
- Znajomość podstaw Kubernetesa
Publikacja docelowa
- Inżynierowie ML
- Inżynierowie DevOps
- Zespoły inżynieryjne platformy
Opinie uczestników (5)
Interaktywność, bez czytania slajdów przez cały dzień
Emilien Bavay - IRIS SA
Szkolenie - Kubernetes Advanced
Przetłumaczone przez sztuczną inteligencję
Praktyczne przykłady, możliwość samodzielnego przetestowania omawianych zagadnień.
Kamil - Volkswagen Poznan Sp. z o.o.
Szkolenie - Docker, Kubernetes and OpenShift 3 for Administrators
był cierpliwy i rozumiał, że się opóźniamy
Albertina - REGNOLOGY ROMANIA S.R.L.
Szkolenie - Deploying Kubernetes Applications with Helm
Przetłumaczone przez sztuczną inteligencję
Interaktywny sposób prowadzenia szkolenia.
Krzysztof Kupisz - Kredyt Inkaso S.A. Centrum Operacyjne w Lublinie
Szkolenie - Managing Kubernetes with Rancher
Szkolenie było bardziej praktyczne
Siphokazi Biyana - Vodacom SA
Szkolenie - Kubernetes on AWS
Przetłumaczone przez sztuczną inteligencję