Dziękujemy za wysłanie zapytania! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Dziękujemy za wysłanie rezerwacji! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Plan Szkolenia
Wprowadzenie do LLMOps
- LLMOps vs MLOps: unikalne wyzwania związane z obsługą LLM.
- Koło życia aplikacji LLM: prompt, ewaluacja, wdrożenie, monitoring.
- Kontrola gotowości produkcyjnej dla aplikacji GenAI.
Zarządzanie wersjami promptów
- Systemy szablonowania promptów i wstrzykiwanie zmiennych.
- Semantyczne wersjonowanie promptów wraz ze zautomatyzowanym testowaniem regresji. egeul>
- Rejestry promptów i procesy współpracy zespołowej.
Ewaluacja LLM w skali masowej
- Dymensje ewaluacji: dokładność, istotność (relevance), bezpieczeństwo, wiarygodność (groundedness).
- Metryki typu LLM-as-a-judge oraz pipeline'y ewaluacji z udziałem człowieka.
- Zautomatyzowane frameworki ewaluacyjne: RAGAS, DeepEval oraz evaluatory własne.
- Progi jakości w CI/CD dla wdrożeń LLM.
Mechanizmy zabezpieczeń i zarządzanie treścią
- Guardrails wejścia i wyjścia: NeMo Guardrails oraz Guardrails AI.
- Wykrywanie danych poufnych (PII), filtrowanie toksyczności oraz określanie zakresów tematycznych.
- Strategie obrony przed atakami typu jailbreak i iniekcją promptów.
- Czerwone testy (red-teaming) aplikacji LLM w celu zapewnienia bezpieczeństwa.
Obserwowalność i monitoring LLM
- Telemetria: zużycie tokenów, opóźnienia (latency), koszty oraz metryki jakości.
- Wykrywanie driftu w wyjściach LLM oraz przestrzeni embeddingów.
- Śledzenie na poziomie sesji dla konwersacji wieloetapowych agentów.
- Dashboardy i alerty przy użyciu LangSmith, Arize oraz OpenTelemetry.
Brama AI i harmonogramowanie modeli
- Routingu między wieloma providerami z wykorzystaniem LiteLLM i Portkey.
- Strategie rezerwowe, logika retry'ów oraz bezpieczniki (circuit breakers).
- Wybór modeli świadomy kosztowy oraz równoważenie obciążenia (load balancing).
- Limitsowanie szybkości, zarządzanie limitami oraz governance kluczy API.
Optymalizacja wydajności
- Semantyczne cache'owanie z użyciem baz wektorowych i strategii dopasowania dokładnego.
- Wymuszanie struktury odpowiedzi poprzez constrained decoding.
- Batching, streaming oraz wzorce współbieżności (concurrency).
- Optymalizacja opóźnień (latency) między różnymi providerami modeli.
Zarządzanie, zgodność i audyt
- Audyt ścieżki wykonania LLM: logi promptów, logi odpowiedzi oraz pochodzenie decyzji (provenance).
- Aspekty dotyczące rezydencji danych i prywatności dla interfejsów API LLM.
- Zasady jako kod (Policy-as-code) dla wykorzystania LLM w ramach organizacji.
- Tworzenie wewnętrznej dokumentacji operacyjnej LLM (playbook).
Wymagania
- Doświadczenie w budowaniu lub integracji aplikacji napędzanych przez LLM.
- Znajomość języka Python i interfejsów REST API.
- Podstawowa znajomość koncepcji inżynierii promptów.
Grupa docelowa
- Inżynierowie ML i specjaliści MLOps przechodzący do operacji na modelach LLM.
- Inżynierowie platform odpowiedzialni za infrastrukturę LLM.
- Kierownicy techniczni zarządzający wdrożeniami GenAI w środowisku produkcyjnym.
14 godzin
Opinie uczestników (2)
stosowanie właściwych i skutecznych promptów
Marses Pacaldo
Szkolenie - Generative AI and Prompt Engineering for Corporate Professionals
Przetłumaczone przez sztuczną inteligencję
Rozszerzenie wiedzy z AI.
