Plan Szkolenia

Wprowadzenie i podstawy diagnostyczne

  • Przegląd trybów awarii w systemach LLM i typowych problemów specyficznych dla Ollama
  • Ustanawianie powtarzalnych eksperymentów i kontrolowanych środowisk
  • Narzędzia do debugowania: lokalne logi, zapisywanie żądań/odpowiedzi oraz izolowanie

Reprodukowanie i izolowanie awarii

  • Techniki tworzenia minimalnych przykładów awarii i nasiennych danych
  • Interakcje stanu i bezstanowe: izolowanie błędów związanych z kontekstem
  • Determinizm, losowość i kontrolowanie nieokreślonego zachowania

Ocena zachowania i metryki

  • Ilościowe metryki: dokładność, warianty ROUGE/BLEU, kalibracja i proxy perpleksji
  • Jakościowe oceny: oceny z udziałem człowieka i projektowanie rubryk
  • Sprawdzanie wierności i kryteria akceptacji specyficzne dla zadania

Automatyczne testowanie i regresja

  • Testy jednostkowe dla promptów i komponentów, scenariusze i testy end-to-end
  • Tworzenie zestawów testów regresyjnych i bazowych przykładów
  • Integracja CI/CD dla aktualizacji modeli Ollama i automatycznych bram walidacji

Obserwowalność i monitorowanie

  • Zarządzanie logami, rozproszone ślady i identyfikatory korygacji
  • Kluczowe metryki operacyjne: opóźnienia, wykorzystanie tokenów, wskaźniki błędów i sygnały jakości
  • Alertowanie, tablice rozdzielcze i SLI/SLO dla usług wspieranych przez modele

Zaawansowana analiza przyczyn

  • Śledzenie przez graficzne prompty, wywołania narzędzi i wielokrotne przepływy
  • Porównawcza diagnostyka A/B i studia ablacyjne
  • Proweniencja danych, debugowanie zbiorów danych i rozwiązywanie awarii wywołanych zbiorami danych

Bezpieczeństwo, odporność i strategie naprawcze

  • Mitigacje: filtrowanie, podstawowe ugruntowanie, wzmocnienie odzyskiwania i szkieletowanie promptów
  • Wzorce cofania, kanaryjskie i stopniowe wdrażanie aktualizacji modeli
  • Pośmiertnosci, lekcje wyciągnięte i ciągłe pętle poprawy

Podsumowanie i kolejne kroki

Wymagania

  • Wielkie doświadczenie w budowaniu i wdrażaniu aplikacji LLM
  • Znajomość przepływów pracy Ollama oraz hostingu modeli
  • Zdolność do pracy z Python, Docker i podstawowym narzędziem monitorowania

Grupa docelowa

  • Inżynierowie AI
  • Specjaliści z dziedziny ML Ops
  • Zespoły QA odpowiedzialne za systemy LLM w produkcji
 35 godzin

Liczba uczestników


cena netto za uczestnika

Propozycje terminów

Powiązane Kategorie