Dziękujemy za wysłanie zapytania! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Dziękujemy za wysłanie rezerwacji! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Plan Szkolenia
Wprowadzenie do Efektywnego Dostrajania Parametrów (PEFT)
- Motywacja i ograniczenia pełnego dostrajania
- Przegląd PEFT: cele i korzyści
- Zastosowania i przypadki użycia w przemyśle
LoRA (Low-Rank Adaptation)
- Koncepcja i intuicja stojąca za LoRA
- Implementacja LoRA przy użyciu Hugging Face i PyTorcha
- Praktyczne ćwiczenie: Dostrajanie modelu z LoRA
Adapter Tuning
- Jak działają moduły adapterowe
- Integracja z modelami opartymi na transformerach
- Praktyczne ćwiczenie: Stosowanie Adapter Tuning do modelu transformera
Prefix Tuning
- Używanie miękkich podpowiedzi do dostrajania
- Mocne strony i ograniczenia w porównaniu z LoRA i adapterami
- Praktyczne ćwiczenie: Prefix Tuning w zadaniu LLM
Ocena i porównanie metod PEFT
- Metryki do oceny wydajności i efektywności
- Kompromisy w szybkości uczenia, zużyciu pamięci i dokładności
- Eksperymenty porównawcze i interpretacja wyników
Wdrażanie Dostrojonych Modeli
- Zapisywanie i ładowanie dostrojonych modeli
- Uwagi dotyczące wdrażania modeli opartych na PEFT
- Integracja z aplikacjami i potokami przetwarzania
Najlepsze praktyki i rozszerzenia
- Łączenie PEFT z kwantyzacją i destylacją
- Zastosowanie w warunkach niskich zasobów i wielojęzycznych
- Kierunki przyszłych badań i aktywne obszary badawcze
Podsumowanie i kolejne kroki
Wymagania
- Zrozumienie podstaw uczenia maszynowego
- Doświadczenie w pracy z dużymi modelami językowymi (LLMs)
- Znajomość Pythona i PyTorcha
Grupa docelowa
- Naukowcy zajmujący się danymi
- Inżynierowie AI
14 godzin
