Bądźmy w kontakcie
 Czas trwania 35 godzin

Plan Szkolenia

Wprowadzenie i podstawy diagnostyki

  • Przegląd trybów awarii w systemach LLM i powszechnych problemów specyficznych dla Ollama
  • Tworzenie odtwarzalnych eksperymentów i kontrolowanych środowisk
  • Zestaw narzędzi diagnostycznych: lokalne logi, przechwytywanie żądań/odpowiedzi i izolowanie środowisk (sandboxing)

Odtwarzanie i izolowanie awarii

  • Techniki tworzenia minimalnych przykładów błędu i seedów
  • Interakcje stanowe vs bezstanowe: izolowanie błędów związanych z kontekstem
  • Determinizm, losowość i kontrolowanie zachowań niedeterministycznych

Ocena behawioralna i metryki

  • Metryki ilościowe: dokładność, warianty ROUGE/BLEU, kalibracja i zamienniki perplexity
  • Oceny jakościowe: punktowanie z udziałem człowieka (human-in-the-loop) i projektowanie rubryk
  • Sprawdzanie wierności dla konkretnych zadań i kryteria akceptacji

Automatyzowane testowanie i regresja

  • Testy jednostkowe promptów i komponentów, testy scenariuszowe i end-to-end
  • Tworzenie zestawów regresji i baz liniowych przykładów referencyjnych (golden examples)
  • Integracja z CI/CD dla aktualizacji modeli Ollama i automatycznych bram walidacyjnych

Obserwowalność i monitorowanie

  • Strukturyzowane logowanie, śledzenie rozproszone i identyfikatory korelacji
  • Kluczowe metryki operacyjne: opóźnienia, zużycie tokenów, wskaźniki błędów i sygnały jakości
  • Alarmowanie, dashboardy oraz SLI/SLO dla usług opartych na modelach

Zaawansowana analiza przyczyn źródłowych

  • Śledzenie spływu przez grafy promptów, wywołania narzędzi i wieloturnowe przepływy
  • Diagnostyka porównawcza A/B i badania ablacji
  • Pochodzenie danych, debugowanie zbiorów danych i rozwiązywanie awarii wywołanych danymi

Bezpieczeństwo, odporność i strategie naprawcze

  • Mitigacje: filtrowanie, uziemianie (grounding), rozszerzenie przez odzyskiwanie (RAG) i struktury promptów
  • Wzorce rollback, canary i stopniowego wdrażania dla aktualizacji modeli
  • Analizy post-mortem, wyciągnięte wnioski i pętle ciągłego doskonalenia

Podsumowanie i kolejne kroki

Wymagania

  • Zaawansowane doświadczenie w budowaniu i wdrażaniu aplikacji LLM
  • Znajomość procesów roboczych Ollama i hostowania modeli
  • Znajomość Pythona, Dockera i podstawowych narzędzi do obserwowalności

Grupa docelowa

  • Inżynierowie AI
  • Specjaliści ds. MLOps
  • Zespoły QA odpowiedzialne za produkcyjne systemy LLM

Liczba uczestników


Cena za uczestnika (netto)

Propozycje terminów

Powiązane Kategorie