Bądźmy w kontakcie

Plan Szkolenia

Wprowadzenie do Efektywnego Dostrajania Parametrów (PEFT)

  • Motywacja i ograniczenia pełnego dostrajania
  • Przegląd PEFT: cele i korzyści
  • Zastosowania i przypadki użycia w przemyśle

LoRA (Low-Rank Adaptation)

  • Koncepcja i intuicja stojąca za LoRA
  • Implementacja LoRA przy użyciu Hugging Face i PyTorcha
  • Praktyczne ćwiczenie: Dostrajanie modelu z użyciem LoRA

Adapter Tuning

  • Jak działają moduły adapterowe
  • Integracja z modelami opartymi na transformatorach
  • Praktyczne ćwiczenie: Zastosowanie Adapter Tuning do modelu transformatorowego

Prefix Tuning

  • Wykorzystanie miękkich podpowiedzi do dostrajania
  • Mocne strony i ograniczenia w porównaniu z LoRA i adapterami
  • Praktyczne ćwiczenie: Prefix Tuning na zadaniu z modelem językowym

Ocena i Porównanie Metod PEFT

  • Metryki do oceny wydajności i efektywności
  • Kompromisy w szybkości treningu, użyciu pamięci i dokładności
  • Eksperymenty porównawcze i interpretacja wyników

Wdrażanie Dostrojonych Modeli

  • Zapisywanie i ładowanie dostrojonych modeli
  • Kwestie związane z wdrażaniem modeli opartych na PEFT
  • Integracja z aplikacjami i potokami przetwarzania

Najlepsze Praktyki i Rozszerzenia

  • Łączenie PEFT z kwantyzacją i destylacją
  • Zastosowanie w warunkach ograniczonych zasobów i wielojęzycznych
  • Kierunki przyszłych badań i aktywne obszary badawcze

Podsumowanie i Kolejne Kroki

Wymagania

  • Zrozumienie podstaw uczenia maszynowego
  • Doświadczenie w pracy z dużymi modelami językowymi (LLMs)
  • Znajomość Pythona i PyTorcha

Odbiorcy

  • Naukowcy zajmujący się danymi
  • Inżynierowie AI
 14 godzin

Liczba uczestników


Cena za uczestnika (netto)

Propozycje terminów

Powiązane Kategorie