Plan Szkolenia

Wprowadzenie do Open-Source LLMs
  • Co to są modele z otwartymi wagami i dlaczego są ważne
  • Przegląd modeli LLaMA, Mistral, Qwen i innych modeli społecznościowych
  • Przypadki użycia dla prywatnych, lokalnych lub bezpiecznych wdrożeń
Konfiguracja Środowiska i Narzędzi
  • Instalowanie i konfigurowanie bibliotek Transformers, Datasets i PEFT
  • Wybieranie odpowiedniego sprzętu do dostrajania
  • Ładowanie wstępnie przeszkolonych modeli z Hugging Face lub innych repozytoriów
Przygotowanie i Przetwarzanie Danych
  • Formaty zbiorów danych (dostrajanie instrukcji, dane czatu, tylko tekst)
  • Tokenizacja i zarządzanie sekwencjami
  • Tworzenie niestandardowych zbiorów danych i ładowaczy danych
Fine-Tuning Techniki
  • Standardowe pełne dostrajanie vs. parametrycznie efektywne metody
  • Zastosowanie LoRA i QLoRA dla efektywnego dostrajania
  • Używanie API Trainer do szybkich eksperymentów
Ocena i Optymalizacja Modelu
  • Ocena dostrojonych modeli za pomocą metryk generacji i dokładności
  • Zarządzanie przeciążaniem, uogólnieniem i zbiorami walidacyjnymi
  • Wskazówki dotyczące optymalizacji wydajności i rejestrowania
Wdrożenie i Prywatne Użycie
  • Zapisywanie i ładowanie modeli do wnioskowania
  • Wdrażanie dostrojonych modeli w bezpiecznych środowiskach korporacyjnych
  • Strategie wdrażania lokalnego vs. w chmurze
Przykłady i Use Case
  • Przykłady korzystania z modeli LLaMA, Mistral i Qwen w przedsiębiorstwach
  • Obsługa wielojęzycznego i specyficznego dla dziedziny dostrajania
  • Dyskusja: Kompromisy między modelami otwartymi i zamkniętymi
Podsumowanie i Kolejne Kroki

Wymagania

  • Zrozumienie duzych modeli jezykowych (LLMs) i ich architektury
  • Doswiadczenie z Python i PyTorch
  • Podstawowa znajomość ekosystemu Hugging Face

Widownia

  • Praktycy ML
  • Developeri AI
 14 godzin

Liczba uczestników


cena netto za uczestnika

Propozycje terminów

Powiązane Kategorie