Dziękujemy za wysłanie zapytania! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Dziękujemy za wysłanie rezerwacji! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Czas trwania 35 godzin
Plan Szkolenia
Wprowadzenie i podstawy diagnostyki
- Przegląd trybów awarii w systemach LLM i typowych problemów specyficznych dla Ollama
- Tworzenie powtarzalnych eksperymentów i kontrolowanych środowisk
- Zestaw narzędzi do debugowania: logi lokalne, przechwytywanie żądań/odpowiedzi i sandboxing
Odtwarzanie i izolowanie awarii
- Techniki tworzenia minimalnych przykładów awarii i ziaren losowości
- Interakcje stanowe i bezstanowe: izolowanie błędów związanych z kontekstem
- Determinizm, losowość i kontrolowanie zachowań niedeterministycznych
Ocena behawioralna i metryki
- Metryki ilościowe: dokładność, warianty ROUGE/BLEU, kalibracja i przybliżenia perplexity
- Oceny jakościowe: punktacja z udziałem człowieka i projektowanie rubryk
- Kontrole wierności specyficzne dla zadania i kryteria akceptacji
Zautomatyzowane testowanie i regresja
- Testy jednostkowe dla promptów i komponentów, testy scenariuszowe i end-to-end
- Tworzenie zestawów regresyjnych i bazowych przykładów referencyjnych
- Integracja CI/CD dla aktualizacji modeli Ollama i zautomatyzowane bramki walidacyjne
Obserwowalność i monitorowanie
- Strukturalne logowanie, ślady rozproszone i identyfikatory korelacji
- Kluczowe metryki operacyjne: opóźnienie, zużycie tokenów, wskaźniki błędów i sygnały jakości
- Alerty, pulpity nawigacyjne oraz SLI/SLO dla usług opartych na modelach
Zaawansowana analiza przyczyn źródłowych
- Śledzenie przez grafy promptów, wywołania narzędzi i przepływy wieloetapowe
- Porównawcza diagnostyka A/B i badania ablacyjne
- Pochodzenie danych, debugowanie zbiorów danych i rozwiązywanie awarii spowodowanych danymi
Bezpieczeństwo, niezawodność i strategie naprawcze
- Środki zaradcze: filtrowanie, uziemienie, rozszerzone wyszukiwanie i rusztowania promptów
- Wzorce wycofywania, wdrożeń kanarkowych i stopniowych wdrażania aktualizacji modeli
- Analizy post-mortem, wyciągnięte wnioski i pętle ciągłego doskonalenia
Podsumowanie i kolejne kroki
Wymagania
- Duże doświadczenie w budowaniu i wdrażaniu aplikacji LLM
- Znajomość przepływów pracy Ollama i hostowania modeli
- Biegłość w Pythonie, Dockerze i podstawowych narzędziach obserwowalności
Grupa docelowa
- Inżynierowie AI
- Specjaliści ML Ops
- Zespoły QA odpowiedzialne za produkcyjne systemy LLM