Bądźmy w kontakcie

Plan Szkolenia

Wprowadzenie i podstawy diagnostyki

  • Przegląd trybów awarii w systemach LLM i typowych problemów specyficznych dla Ollama
  • Tworzenie powtarzalnych eksperymentów i kontrolowanych środowisk
  • Zestaw narzędzi do debugowania: lokalne logi, przechwytywanie żądań/odpowiedzi oraz sandboxing

Odtwarzanie i izolowanie awarii

  • Techniki tworzenia minimalnych przykładów awarii i ziaren
  • Interakcje stanowe a bezstanowe: izolowanie błędów związanych z kontekstem
  • Determinizm, losowość i kontrolowanie zachowań niedeterministycznych

Ocena zachowania i metryki

  • Metryki ilościowe: dokładność, warianty ROUGE/BLEU, kalibracja i proxy perplexity
  • Oceny jakościowe: ocenianie z udziałem człowieka i projektowanie rubryk
  • Sprawdzanie wierności i kryteriów akceptacji dla konkretnych zadań

Automatyzacja testów i regresji

  • Testy jednostkowe dla promptów i komponentów, scenariusze i testy end-to-end
  • Tworzenie zestawów regresji i bazowych przykładów wzorcowych
  • Integracja CI/CD dla aktualizacji modeli Ollama i automatycznych bram walidacyjnych

Obserwowalność i monitorowanie

  • Strukturyzowane logowanie, rozproszone ślady i identyfikatory korelacji
  • Kluczowe metryki operacyjne: opóźnienia, użycie tokenów, wskaźniki błędów i sygnały jakości
  • Alerty, pulpity nawigacyjne i SLI/SLO dla usług opartych na modelach

Zaawansowana analiza przyczyn źródłowych

  • Śledzenie przez grafy promptów, wywołania narzędzi i przepływy wieloetapowe
  • Porównawcza diagnoza A/B i badania ablacyjne
  • Pochodzenie danych, debugowanie zbiorów danych i adresowanie błędów wywołanych przez zbiory danych

Bezpieczeństwo, niezawodność i strategie naprawcze

  • Środki zaradcze: filtrowanie, uziemienie, augmentacja retrieval i scaffolding promptów
  • Wzorce wycofywania, canary i stopniowego wdrażania aktualizacji modeli
  • Post-mortemy, wyciąganie wniosków i pętle ciągłego doskonalenia

Podsumowanie i kolejne kroki

Wymagania

  • Silne doświadczenie w budowaniu i wdrażaniu aplikacji LLM
  • Znajomość przepływów pracy Ollama i hostowania modeli
  • Umiejętność pracy z Pythonem, Dockerem oraz podstawowymi narzędziami obserwowalności

Grupa docelowa

  • Inżynierowie AI
  • Specjaliści ML Ops
  • Zespoły QA odpowiedzialne za systemy LLM w produkcji
 35 godzin

Liczba uczestników


Cena za uczestnika (netto)

Propozycje terminów

Powiązane Kategorie