Dziękujemy za wysłanie zapytania! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Dziękujemy za wysłanie rezerwacji! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Czas trwania 35 godzin
Plan Szkolenia
Wprowadzenie i podstawy diagnostyki
- Przegląd trybów awarii w systemach LLM i powszechnych problemów specyficznych dla Ollama
- Tworzenie odtwarzalnych eksperymentów i kontrolowanych środowisk
- Zestaw narzędzi diagnostycznych: lokalne logi, przechwytywanie żądań/odpowiedzi i izolowanie środowisk (sandboxing)
Odtwarzanie i izolowanie awarii
- Techniki tworzenia minimalnych przykładów błędu i seedów
- Interakcje stanowe vs bezstanowe: izolowanie błędów związanych z kontekstem
- Determinizm, losowość i kontrolowanie zachowań niedeterministycznych
Ocena behawioralna i metryki
- Metryki ilościowe: dokładność, warianty ROUGE/BLEU, kalibracja i zamienniki perplexity
- Oceny jakościowe: punktowanie z udziałem człowieka (human-in-the-loop) i projektowanie rubryk
- Sprawdzanie wierności dla konkretnych zadań i kryteria akceptacji
Automatyzowane testowanie i regresja
- Testy jednostkowe promptów i komponentów, testy scenariuszowe i end-to-end
- Tworzenie zestawów regresji i baz liniowych przykładów referencyjnych (golden examples)
- Integracja z CI/CD dla aktualizacji modeli Ollama i automatycznych bram walidacyjnych
Obserwowalność i monitorowanie
- Strukturyzowane logowanie, śledzenie rozproszone i identyfikatory korelacji
- Kluczowe metryki operacyjne: opóźnienia, zużycie tokenów, wskaźniki błędów i sygnały jakości
- Alarmowanie, dashboardy oraz SLI/SLO dla usług opartych na modelach
Zaawansowana analiza przyczyn źródłowych
- Śledzenie spływu przez grafy promptów, wywołania narzędzi i wieloturnowe przepływy
- Diagnostyka porównawcza A/B i badania ablacji
- Pochodzenie danych, debugowanie zbiorów danych i rozwiązywanie awarii wywołanych danymi
Bezpieczeństwo, odporność i strategie naprawcze
- Mitigacje: filtrowanie, uziemianie (grounding), rozszerzenie przez odzyskiwanie (RAG) i struktury promptów
- Wzorce rollback, canary i stopniowego wdrażania dla aktualizacji modeli
- Analizy post-mortem, wyciągnięte wnioski i pętle ciągłego doskonalenia
Podsumowanie i kolejne kroki
Wymagania
- Zaawansowane doświadczenie w budowaniu i wdrażaniu aplikacji LLM
- Znajomość procesów roboczych Ollama i hostowania modeli
- Znajomość Pythona, Dockera i podstawowych narzędzi do obserwowalności
Grupa docelowa
- Inżynierowie AI
- Specjaliści ds. MLOps
- Zespoły QA odpowiedzialne za produkcyjne systemy LLM