Dziękujemy za wysłanie zapytania! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Dziękujemy za wysłanie rezerwacji! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Plan Szkolenia
Wprowadzenie do Mistral na Dużą Skalę
- Przegląd Mistral Medium 3
- Kompromisy między wydajnością a kosztami
- Zagadnienia związane z skalą przedsiębiorstwa
Wzorce Wdrażania dla LLM
- Topologie serwowania i wybory projektowe
- Wdrożenia lokalne vs w chmurze
- Strategie hybrydowe i wielochmurowe
Techniki Optymalizacji Inferencji
- Strategie batchowania dla wysokiej przepustowości
- Metody kwantyzacji w celu redukcji kosztów
- Wykorzystanie akceleratorów i GPU
Skalowalność i Niezawodność
- Skalowanie klastrów Kubernetes do inferencji
- Równoważenie obciążenia i routing ruchu
- Tolerancja na błędy i redundancja
Ramy Inżynierii Kosztów
- Pomiar efektywności kosztowej inferencji
- Dobór odpowiednich zasobów obliczeniowych i pamięci
- Monitorowanie i alerty w celu optymalizacji
Bezpieczeństwo i Zgodność w Produkcji
- Zabezpieczanie wdrożeń i API
- Zagadnienia związane z zarządzaniem danymi
- Zgodność regulacyjna w inżynierii kosztów
Studia Przypadków i Najlepsze Praktyki
- Referencyjne architektury dla Mistral na dużą skalę
- Lekcje z wdrożeń przedsiębiorstw
- Przyszłe trendy w efektywnej inferencji LLM
Podsumowanie i Kolejne Kroki
Wymagania
- Solidne zrozumienie wdrażania modeli uczenia maszynowego
- Doświadczenie w infrastrukturze chmurowej i systemach rozproszonych
- Znajomość strategii optymalizacji wydajności i kosztów
Odbiorcy
- Inżynierowie infrastruktury
- Architekci chmury
- Liderzy MLOps
14 godzin