Dziękujemy za wysłanie zapytania! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Dziękujemy za wysłanie rezerwacji! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Plan Szkolenia
Wprowadzenie i podstawy diagnostyki
- Przegląd trybów awarii w systemach LLM i typowych problemów specyficznych dla Ollama
- Tworzenie powtarzalnych eksperymentów i kontrolowanych środowisk
- Zestaw narzędzi do debugowania: lokalne logi, przechwytywanie żądań/odpowiedzi oraz sandboxing
Odtwarzanie i izolowanie awarii
- Techniki tworzenia minimalnych przykładów awarii i ziaren
- Interakcje stanowe a bezstanowe: izolowanie błędów związanych z kontekstem
- Determinizm, losowość i kontrolowanie zachowań niedeterministycznych
Ocena zachowania i metryki
- Metryki ilościowe: dokładność, warianty ROUGE/BLEU, kalibracja i proxy perplexity
- Oceny jakościowe: ocenianie z udziałem człowieka i projektowanie rubryk
- Sprawdzanie wierności i kryteriów akceptacji dla konkretnych zadań
Automatyzacja testów i regresji
- Testy jednostkowe dla promptów i komponentów, scenariusze i testy end-to-end
- Tworzenie zestawów regresji i bazowych przykładów wzorcowych
- Integracja CI/CD dla aktualizacji modeli Ollama i automatycznych bram walidacyjnych
Obserwowalność i monitorowanie
- Strukturyzowane logowanie, rozproszone ślady i identyfikatory korelacji
- Kluczowe metryki operacyjne: opóźnienia, użycie tokenów, wskaźniki błędów i sygnały jakości
- Alerty, pulpity nawigacyjne i SLI/SLO dla usług opartych na modelach
Zaawansowana analiza przyczyn źródłowych
- Śledzenie przez grafy promptów, wywołania narzędzi i przepływy wieloetapowe
- Porównawcza diagnoza A/B i badania ablacyjne
- Pochodzenie danych, debugowanie zbiorów danych i adresowanie błędów wywołanych przez zbiory danych
Bezpieczeństwo, niezawodność i strategie naprawcze
- Środki zaradcze: filtrowanie, uziemienie, augmentacja retrieval i scaffolding promptów
- Wzorce wycofywania, canary i stopniowego wdrażania aktualizacji modeli
- Post-mortemy, wyciąganie wniosków i pętle ciągłego doskonalenia
Podsumowanie i kolejne kroki
Wymagania
- Silne doświadczenie w budowaniu i wdrażaniu aplikacji LLM
- Znajomość przepływów pracy Ollama i hostowania modeli
- Umiejętność pracy z Pythonem, Dockerem oraz podstawowymi narzędziami obserwowalności
Grupa docelowa
- Inżynierowie AI
- Specjaliści ML Ops
- Zespoły QA odpowiedzialne za systemy LLM w produkcji
35 godzin