Dziękujemy za wysłanie zapytania! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Dziękujemy za wysłanie rezerwacji! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Plan Szkolenia
Wprowadzenie i podstawy diagnostyczne
- Przegląd trybów awarii w systemach LLM i typowych problemów specyficznych dla Ollama
- Ustanawianie powtarzalnych eksperymentów i kontrolowanych środowisk
- Narzędzia do debugowania: lokalne logi, zapisywanie żądań/odpowiedzi oraz izolowanie
Reprodukowanie i izolowanie awarii
- Techniki tworzenia minimalnych przykładów awarii i nasiennych danych
- Interakcje stanu i bezstanowe: izolowanie błędów związanych z kontekstem
- Determinizm, losowość i kontrolowanie nieokreślonego zachowania
Ocena zachowania i metryki
- Ilościowe metryki: dokładność, warianty ROUGE/BLEU, kalibracja i proxy perpleksji
- Jakościowe oceny: oceny z udziałem człowieka i projektowanie rubryk
- Sprawdzanie wierności i kryteria akceptacji specyficzne dla zadania
Automatyczne testowanie i regresja
- Testy jednostkowe dla promptów i komponentów, scenariusze i testy end-to-end
- Tworzenie zestawów testów regresyjnych i bazowych przykładów
- Integracja CI/CD dla aktualizacji modeli Ollama i automatycznych bram walidacji
Obserwowalność i monitorowanie
- Zarządzanie logami, rozproszone ślady i identyfikatory korygacji
- Kluczowe metryki operacyjne: opóźnienia, wykorzystanie tokenów, wskaźniki błędów i sygnały jakości
- Alertowanie, tablice rozdzielcze i SLI/SLO dla usług wspieranych przez modele
Zaawansowana analiza przyczyn
- Śledzenie przez graficzne prompty, wywołania narzędzi i wielokrotne przepływy
- Porównawcza diagnostyka A/B i studia ablacyjne
- Proweniencja danych, debugowanie zbiorów danych i rozwiązywanie awarii wywołanych zbiorami danych
Bezpieczeństwo, odporność i strategie naprawcze
- Mitigacje: filtrowanie, podstawowe ugruntowanie, wzmocnienie odzyskiwania i szkieletowanie promptów
- Wzorce cofania, kanaryjskie i stopniowe wdrażanie aktualizacji modeli
- Pośmiertnosci, lekcje wyciągnięte i ciągłe pętle poprawy
Podsumowanie i kolejne kroki
Wymagania
- Wielkie doświadczenie w budowaniu i wdrażaniu aplikacji LLM
- Znajomość przepływów pracy Ollama oraz hostingu modeli
- Zdolność do pracy z Python, Docker i podstawowym narzędziem monitorowania
Grupa docelowa
- Inżynierowie AI
- Specjaliści z dziedziny ML Ops
- Zespoły QA odpowiedzialne za systemy LLM w produkcji
35 godzin