Plan Szkolenia

Wprowadzenie do Efektywnego Parametryzacji Fine-Tuning (PEFT)

  • Motywacja i ograniczenia pełnego dopasowania
  • Przegląd PEFT: cele i korzyści
  • Zastosowania i przypadki użycia w przemyśle

LoRA (Niskorządowa Adaptacja)

  • Pojęcie i intuicja stojąca za LoRA
  • Wdrożenie LoRA przy użyciu Hugging Face i PyTorch
  • Praktyczne: Dopasowanie modelu z użyciem LoRA

Dopasowanie adapterów

  • Jak działają moduły adapterów
  • Integracja z modelami opartymi na transformatorach
  • Praktyczne: Zastosowanie dopasowania adapterów do modelu transformatora

Dopasowanie przedrostków

  • Używanie miękkich promieni do dopasowania
  • Silne i słabe strony w porównaniu z LoRA i adapterami
  • Praktyczne: Dopasowanie przedrostków do zadania LLM

Ocena i Porównywanie Metod PEFT

  • Metryki do oceny wydajności i efektywności
  • Kompromisy między szybkością trenowania, zużyciem pamięci i dokładnością
  • Eksperymenty benchmarkowe i interpretacja wyników

Wdrażanie Dopasowanych Modeli

  • Zapisywanie i ładowanie dopasowanych modeli
  • Rozważania związane z wdrażaniem modeli opartych na PEFT
  • Integracja z aplikacjami i wierszami polecenia

Najlepsze praktyki i rozszerzenia

  • Połączenie PEFT z kwantyzacją i destylacją
  • Użycie w warunkach o niskich zasobach i wielojęzycznych
  • Przyszłe kierunki i aktywne obszary badań

Podsumowanie i Kolejne kroki

Wymagania

  • Zrozumienie podstaw uczenia maszynowego
  • Doświadczenie w pracy z dużymi modelami językowymi (LLMs)
  • Znałość Python i PyTorch

Grupa docelowa

  • Naukowcy danych
  • Inżynierowie AI
 14 godzin

Liczba uczestników


cena netto za uczestnika

Propozycje terminów

Powiązane Kategorie