Bądźmy w kontakcie
 Czas trwania 35 godzin

Plan Szkolenia

Wprowadzenie i podstawy diagnostyki

  • Przegląd trybów awarii w systemach LLM i typowych problemów specyficznych dla Ollama
  • Tworzenie powtarzalnych eksperymentów i kontrolowanych środowisk
  • Zestaw narzędzi do debugowania: logi lokalne, przechwytywanie żądań/odpowiedzi i sandboxing

Odtwarzanie i izolowanie awarii

  • Techniki tworzenia minimalnych przykładów awarii i ziaren losowości
  • Interakcje stanowe i bezstanowe: izolowanie błędów związanych z kontekstem
  • Determinizm, losowość i kontrolowanie zachowań niedeterministycznych

Ocena behawioralna i metryki

  • Metryki ilościowe: dokładność, warianty ROUGE/BLEU, kalibracja i przybliżenia perplexity
  • Oceny jakościowe: punktacja z udziałem człowieka i projektowanie rubryk
  • Kontrole wierności specyficzne dla zadania i kryteria akceptacji

Zautomatyzowane testowanie i regresja

  • Testy jednostkowe dla promptów i komponentów, testy scenariuszowe i end-to-end
  • Tworzenie zestawów regresyjnych i bazowych przykładów referencyjnych
  • Integracja CI/CD dla aktualizacji modeli Ollama i zautomatyzowane bramki walidacyjne

Obserwowalność i monitorowanie

  • Strukturalne logowanie, ślady rozproszone i identyfikatory korelacji
  • Kluczowe metryki operacyjne: opóźnienie, zużycie tokenów, wskaźniki błędów i sygnały jakości
  • Alerty, pulpity nawigacyjne oraz SLI/SLO dla usług opartych na modelach

Zaawansowana analiza przyczyn źródłowych

  • Śledzenie przez grafy promptów, wywołania narzędzi i przepływy wieloetapowe
  • Porównawcza diagnostyka A/B i badania ablacyjne
  • Pochodzenie danych, debugowanie zbiorów danych i rozwiązywanie awarii spowodowanych danymi

Bezpieczeństwo, niezawodność i strategie naprawcze

  • Środki zaradcze: filtrowanie, uziemienie, rozszerzone wyszukiwanie i rusztowania promptów
  • Wzorce wycofywania, wdrożeń kanarkowych i stopniowych wdrażania aktualizacji modeli
  • Analizy post-mortem, wyciągnięte wnioski i pętle ciągłego doskonalenia

Podsumowanie i kolejne kroki

Wymagania

  • Duże doświadczenie w budowaniu i wdrażaniu aplikacji LLM
  • Znajomość przepływów pracy Ollama i hostowania modeli
  • Biegłość w Pythonie, Dockerze i podstawowych narzędziach obserwowalności

Grupa docelowa

  • Inżynierowie AI
  • Specjaliści ML Ops
  • Zespoły QA odpowiedzialne za produkcyjne systemy LLM

Liczba uczestników


Cena za uczestnika (netto)

Propozycje terminów

Powiązane Kategorie