Dziękujemy za wysłanie zapytania! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Dziękujemy za wysłanie rezerwacji! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Plan Szkolenia
Wprowadzenie do Mistrala na dużą skalę
- Przegląd Mistral Medium 3
- Kompromisy między wydajnością a kosztami
- Zagadnienia dotyczące skalowania w przedsiębiorstwie
Wzorce wdrażania dla LLM
- Topologie serwowania i wybory projektowe
- Wdrożenia lokalne a chmurowe
- Strategie hybrydowe i wielochmurowe
Techniki optymalizacji wnioskowania
- Strategie przetwarzania wsadowego dla wysokiej przepustowości
- Metody kwantyzacji w celu redukcji kosztów
- Wykorzystanie akceleratorów i GPU
Skalowalność i niezawodność
- Skalowanie klastrów Kubernetes do wnioskowania
- Równoważenie obciążenia i trasowanie ruchu
- Odporność na awarie i redundancja
Ramy inżynierii kosztów
- Pomiar efektywności kosztowej wnioskowania
- Dobór odpowiednich zasobów obliczeniowych i pamięciowych
- Monitorowanie i alerty w celu optymalizacji
Bezpieczeństwo i zgodność w środowisku produkcyjnym
- Zabezpieczanie wdrożeń i interfejsów API
- Zagadnienia dotyczące zarządzania danymi
- Zgodność regulacyjna w inżynierii kosztów
Studia przypadków i najlepsze praktyki
- Architektury referencyjne dla Mistrala na dużą skalę
- Wnioski z wdrożeń korporacyjnych
- Przyszłe trendy w efektywnym wnioskowaniu LLM
Podsumowanie i kolejne kroki
Wymagania
- Dobra znajomość wdrażania modeli uczenia maszynowego
- Doświadczenie z infrastrukturą chmurową i systemami rozproszonymi
- Znajomość strategii strojenia wydajności i optymalizacji kosztów
Grupa docelowa
- Inżynierowie infrastruktury
- Architekci chmurowi
- Liderzy MLOps
14 godzin
