Bądźmy w kontakcie

Plan Szkolenia

Wprowadzenie do Mistral na Dużą Skalę

  • Przegląd Mistral Medium 3
  • Kompromisy między wydajnością a kosztami
  • Zagadnienia związane z skalą przedsiębiorstwa

Wzorce Wdrażania dla LLM

  • Topologie serwowania i wybory projektowe
  • Wdrożenia lokalne vs w chmurze
  • Strategie hybrydowe i wielochmurowe

Techniki Optymalizacji Inferencji

  • Strategie batchowania dla wysokiej przepustowości
  • Metody kwantyzacji w celu redukcji kosztów
  • Wykorzystanie akceleratorów i GPU

Skalowalność i Niezawodność

  • Skalowanie klastrów Kubernetes do inferencji
  • Równoważenie obciążenia i routing ruchu
  • Tolerancja na błędy i redundancja

Ramy Inżynierii Kosztów

  • Pomiar efektywności kosztowej inferencji
  • Dobór odpowiednich zasobów obliczeniowych i pamięci
  • Monitorowanie i alerty w celu optymalizacji

Bezpieczeństwo i Zgodność w Produkcji

  • Zabezpieczanie wdrożeń i API
  • Zagadnienia związane z zarządzaniem danymi
  • Zgodność regulacyjna w inżynierii kosztów

Studia Przypadków i Najlepsze Praktyki

  • Referencyjne architektury dla Mistral na dużą skalę
  • Lekcje z wdrożeń przedsiębiorstw
  • Przyszłe trendy w efektywnej inferencji LLM

Podsumowanie i Kolejne Kroki

Wymagania

  • Solidne zrozumienie wdrażania modeli uczenia maszynowego
  • Doświadczenie w infrastrukturze chmurowej i systemach rozproszonych
  • Znajomość strategii optymalizacji wydajności i kosztów

Odbiorcy

  • Inżynierowie infrastruktury
  • Architekci chmury
  • Liderzy MLOps
 14 godzin

Liczba uczestników


Cena za uczestnika (netto)

Propozycje terminów

Powiązane Kategorie