Dziękujemy za wysłanie zapytania! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Dziękujemy za wysłanie rezerwacji! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Czas trwania 14 godzin
Plan Szkolenia
Wprowadzenie do Mistrala w skali
- Przegląd Mistral Medium 3
- Kompromisy między wydajnością a kosztami
- Wyzwania w skali enterprise
Wzorce wdrażania dla LLM
- Topologie serwowania i decyzje projektowe
- Wdrożenia lokalne (on-premises) vs w chmurze
- Strategie hybrydowe i wielochmurowe
Techniki optymalizacji inferencji
- Strategie batchingu dla wysokiej przepustowości
- Metody kwantyzacji w celu redukcji kosztów
- Wykorzystanie akceleratorów i GPU
Skalowalność i niezawodność
- Skalowanie klastrów Kubernetes do inferencji
- Balansowanie obciążenia i routowanie ruchu
- Odporność na awarie i redundancja
Ramowe modele inżynierii kosztów
- Pomiar efektywności kosztowej inferencji
- Dopasowanie zasobów obliczeniowych i pamięciowych
- Monitorowanie i alerty w celu optymalizacji
Bezpieczeństwo i zgodność w środowisku produkcyjnym
- Zabezpieczanie wdrożeń i API
- Aspekty zarządzania danymi (governance)
- Zgodność regulacyjna w inżynierii kosztów
Przypadki studyjne i najlepsze praktyki
- Architektury referencyjne dla Mistrala w skali
- Doświadczenia z wdrożeń w środowisku enterprise
- Przyszłe trendy w efektywnej inferencji LLM
Podsumowanie i dalsze kroki
Wymagania
- Zaawansowana wiedza z zakresu wdrażania modeli uczenia maszynowego
- Doświadczenie w pracy z infrastrukturą chmurową i systemami rozproszonymi
- Znajomość strategii tuningowania wydajności i optymalizacji kosztów
Grupa docelowa
- Inżynierowie infrastruktury
- Architekci chmury
- Liderzy MLOps