Bądźmy w kontakcie

Plan Szkolenia

Wprowadzenie do Open-Source LLM

  • Czym są modele open-weight i dlaczego są ważne
  • Przegląd modeli LLaMA, Mistral, Qwen i innych modeli społecznościowych
  • Przypadki użycia dla prywatnych, lokalnych lub bezpiecznych wdrożeń

Konfiguracja środowiska i narzędzia

  • Instalacja i konfiguracja bibliotek Transformers, Datasets i PEFT
  • Wybór odpowiedniego sprzętu do dostrajania
  • Ładowanie wstępnie wytrenowanych modeli z Hugging Face lub innych repozytoriów

Przygotowanie i przetwarzanie danych

  • Formaty zestawów danych (dostrajanie instrukcji, dane czatowe, tylko tekst)
  • Tokenizacja i zarządzanie sekwencjami
  • Tworzenie niestandardowych zestawów danych i ładowarek danych

Techniki dostrajania

  • Pełne dostrajanie standardowe vs. metody efektywne parametrowo
  • Zastosowanie LoRA i QLoRA do efektywnego dostrajania
  • Użycie Trainer API do szybkiego eksperymentowania

Ocena i optymalizacja modelu

  • Ocena dostrojonych modeli za pomocą metryk generowania i dokładności
  • Zarządzanie przeuczeniem, generalizacją i zestawami walidacyjnymi
  • Wskazówki dotyczące dostrajania wydajności i logowania

Wdrożenie i prywatne użycie

  • Zapisywanie i ładowanie modeli do wnioskowania
  • Wdrażanie dostrojonych modeli w bezpiecznych środowiskach przedsiębiorstw
  • Strategie wdrażania lokalnego vs. w chmurze

Studia przypadków i zastosowania

  • Przykłady użycia LLaMA, Mistral i Qwen w przedsiębiorstwach
  • Obsługa dostrajania wielojęzycznego i specyficznego dla domeny
  • Dyskusja: Kompromisy między modelami otwartymi i zamkniętymi

Podsumowanie i kolejne kroki

Wymagania

  • Zrozumienie dużych modeli językowych (LLM) i ich architektury
  • Doświadczenie w Pythonie i PyTorch
  • Podstawowa znajomość ekosystemu Hugging Face

Grupa docelowa

  • Praktycy ML
  • Programiści AI
 14 godzin

Liczba uczestników


Cena za uczestnika (netto)

Propozycje terminów

Powiązane Kategorie