Plan Szkolenia

Wprowadzenie do Mistral na Dużą Skalę

  • Przegląd Mistral Medium 3
  • Kompromisy między wydajnością a kosztami
  • Zagadnienia związane z skalą przedsiębiorstwa

Wzorce wdrażania dla LLM

  • Topologie serwowania i wybory projektowe
  • Wdrożenia lokalne vs chmurowe
  • Strategie hybrydowe i wielochmurowe

Techniki optymalizacji wnioskowania

  • Strategie wsadowe dla wysokiej przepustowości
  • Metody kwantyzacji w celu redukcji kosztów
  • Wykorzystanie akceleratorów i GPU

Skalowalność i niezawodność

  • Skalowanie klastrów Kubernetes do wnioskowania
  • Równoważenie obciążenia i routing ruchu
  • Tolerancja na błędy i redundancja

Frameworki inżynierii kosztów

  • Pomiar efektywności kosztowej wnioskowania
  • Dopasowanie zasobów obliczeniowych i pamięciowych
  • Monitorowanie i alerty w celu optymalizacji

Bezpieczeństwo i zgodność w produkcji

  • Zabezpieczanie wdrożeń i API
  • Zagadnienia związane z zarządzaniem danymi
  • Zgodność regulacyjna w inżynierii kosztów

Studia przypadków i najlepsze praktyki

  • Referencyjne architektury dla Mistral na dużą skalę
  • Lekcje z wdrożeń przedsiębiorstw
  • Przyszłe trendy w efektywnym wnioskowaniu LLM

Podsumowanie i kolejne kroki

Wymagania

  • Dobra znajomość wdrażania modeli uczenia maszynowego
  • Doświadczenie w zakresie infrastruktury chmurowej i systemów rozproszonych
  • Znajomość strategii optymalizacji wydajności i kosztów

Grupa docelowa

  • Inżynierowie infrastruktury
  • Architekci chmurowi
  • Liderzy MLOps
 14 godzin

Liczba uczestników


Cena za uczestnika

Propozycje terminów

Powiązane Kategorie