Dziękujemy za wysłanie zapytania! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Dziękujemy za wysłanie rezerwacji! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Plan Szkolenia
Wprowadzenie do Mistral na Dużą Skalę
- Przegląd Mistral Medium 3
- Kompromisy między wydajnością a kosztami
- Zagadnienia związane z skalą przedsiębiorstwa
Wzorce wdrażania dla LLM
- Topologie serwowania i wybory projektowe
- Wdrożenia lokalne vs chmurowe
- Strategie hybrydowe i wielochmurowe
Techniki optymalizacji wnioskowania
- Strategie wsadowe dla wysokiej przepustowości
- Metody kwantyzacji w celu redukcji kosztów
- Wykorzystanie akceleratorów i GPU
Skalowalność i niezawodność
- Skalowanie klastrów Kubernetes do wnioskowania
- Równoważenie obciążenia i routing ruchu
- Tolerancja na błędy i redundancja
Frameworki inżynierii kosztów
- Pomiar efektywności kosztowej wnioskowania
- Dopasowanie zasobów obliczeniowych i pamięciowych
- Monitorowanie i alerty w celu optymalizacji
Bezpieczeństwo i zgodność w produkcji
- Zabezpieczanie wdrożeń i API
- Zagadnienia związane z zarządzaniem danymi
- Zgodność regulacyjna w inżynierii kosztów
Studia przypadków i najlepsze praktyki
- Referencyjne architektury dla Mistral na dużą skalę
- Lekcje z wdrożeń przedsiębiorstw
- Przyszłe trendy w efektywnym wnioskowaniu LLM
Podsumowanie i kolejne kroki
Wymagania
- Dobra znajomość wdrażania modeli uczenia maszynowego
- Doświadczenie w zakresie infrastruktury chmurowej i systemów rozproszonych
- Znajomość strategii optymalizacji wydajności i kosztów
Grupa docelowa
- Inżynierowie infrastruktury
- Architekci chmurowi
- Liderzy MLOps
14 godzin