Plan Szkolenia

Wprowadzenie do Mistral w Skali

  • Przegląd Mistral Medium 3
  • Zależności wydajności od kosztów
  • Uwagi dotyczące skal przedsiębiorstw

Wzorce wdrażania dla dużych modeli językowych

  • Topologie serwowania i wybory projektowe
  • Wdrożenia lokalne vs w chmurze
  • Strategie hybrydowe i wielochmurowe

Techniki optymalizacji inferencji

  • Strategie pakowania dla wysokiej przepustowości
  • Metody kwantyzacji do obniżania kosztów
  • Wykorzystanie akceleratorów i GPU

Skalowalność i niezawodność

  • Skalowanie klastrów Kubernetes do inferencji
  • Bilansowanie obciążenia i trasowanie ruchu
  • Wydajność i redundancja

Ramy inżynierii kosztowej

  • Mierzanie wydajności kosztowej inferencji
  • Dopasowanie zasobów obliczeniowych i pamięci
  • Monitorowanie i alerty dla optymalizacji

Bezpieczeństwo i zgodność w produkcji

  • Zabezpieczanie wdrożeń i API
  • Zagadnienia dotyczące zarządzania danymi
  • Zgodność regulacyjna w inżynierii kosztowej

Przypadki użytkowania i najlepsze praktyki

  • Architektury referencyjne dla Mistral w skali
  • Wnioski z wdrożeń przedsiębiorstw
  • Przyszłe trendy w efektywnej inferencji dużych modeli językowych

Podsumowanie i kolejne kroki

Wymagania

  • Solid understanding of deploying machine learning models
  • Experience with cloud infrastructure and distributed systems
  • Familiarity with performance tuning and cost optimization strategies

Grupa docelowa

  • Inżynierowie infrastruktury
  • Architekci chmurowi
  • Liderzy MLOps
 14 godzin

Liczba uczestników


cena netto za uczestnika

Propozycje terminów

Powiązane Kategorie