Dziękujemy za wysłanie zapytania! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Dziękujemy za wysłanie rezerwacji! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Plan Szkolenia
Wprowadzenie do Mistral w Skali
- Przegląd Mistral Medium 3
- Zależności wydajności od kosztów
- Uwagi dotyczące skal przedsiębiorstw
Wzorce wdrażania dla dużych modeli językowych
- Topologie serwowania i wybory projektowe
- Wdrożenia lokalne vs w chmurze
- Strategie hybrydowe i wielochmurowe
Techniki optymalizacji inferencji
- Strategie pakowania dla wysokiej przepustowości
- Metody kwantyzacji do obniżania kosztów
- Wykorzystanie akceleratorów i GPU
Skalowalność i niezawodność
- Skalowanie klastrów Kubernetes do inferencji
- Bilansowanie obciążenia i trasowanie ruchu
- Wydajność i redundancja
Ramy inżynierii kosztowej
- Mierzanie wydajności kosztowej inferencji
- Dopasowanie zasobów obliczeniowych i pamięci
- Monitorowanie i alerty dla optymalizacji
Bezpieczeństwo i zgodność w produkcji
- Zabezpieczanie wdrożeń i API
- Zagadnienia dotyczące zarządzania danymi
- Zgodność regulacyjna w inżynierii kosztowej
Przypadki użytkowania i najlepsze praktyki
- Architektury referencyjne dla Mistral w skali
- Wnioski z wdrożeń przedsiębiorstw
- Przyszłe trendy w efektywnej inferencji dużych modeli językowych
Podsumowanie i kolejne kroki
Wymagania
- Solid understanding of deploying machine learning models
- Experience with cloud infrastructure and distributed systems
- Familiarity with performance tuning and cost optimization strategies
Grupa docelowa
- Inżynierowie infrastruktury
- Architekci chmurowi
- Liderzy MLOps
14 godzin