Dziękujemy za wysłanie zapytania! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Dziękujemy za wysłanie rezerwacji! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Czas trwania 14 godzin
Plan Szkolenia
Wprowadzenie do efektywnego kosztowo strojenia parametrów (PEFT)
- Motywacja i ograniczenia pełnego strojenia
- Przegląd PEFT: cele i korzyści
- Zastosowania i przypadki użycia w przemyśle
LoRA (Low-Rank Adaptation)
- Pojęcie i intuicja stojąca za LoRA
- Implementacja LoRA z użyciem Hugging Face i PyTorch
- Praktyka: Strojenie modelu z użyciem LoRA
Adapter Tuning
- Zasada działania modułów adapterów
- Integracja z modelami opartymi na transformatorach
- Praktyka: Stosowanie Adapter Tuning do modelu transformatorowego
Prefix Tuning
- Wykorzystanie miękkich promptów do strojenia
- Zalety i ograniczenia w porównaniu z LoRA i adapterami
- Praktyka: Prefix Tuning na zadaniu LLM
Ewaluacja i porównywanie metod PEFT
- Metryki do oceny wydajności i efektywności
- Kompromisy w szybkości treningu, zużyciu pamięci i dokładności
- Eksperymenty benchmarkowe i interpretacja wyników
Wdrażanie dostrojonych modeli
- Zapisywanie i wczytywanie dostrojonych modeli
- Wymagania dotyczące wdrożenia modeli opartych na PEFT
- Integracja z aplikacjami i przepływami pracy (pipelines)
Dobre praktyki i rozszerzenia
- Łączenie PEFT z kwantyzacją i destylacją
- Zastosowania w środowiskach o ograniczonych zasobach i wielojęzycznych
- Kierunki rozwoju i aktywne obszary badawcze
Wymagania
- Znajomość podstaw uczenia maszynowego
- Doświadczenie w pracy z dużymi modelami językowymi (LLM)
- Znajomość języka Python i biblioteki PyTorch
Grupa docelowa
- Naukowcy danych
- Inżynierowie AI
