Plan Szkolenia

Wprowadzenie do Otwartych Modeli LLMs

  • Co to są modele z otwartymi wagami i dlaczego są ważne
  • Przegląd modeli LLaMA, Mistral, Qwen i innych modeli społecznościowych
  • Przykłady zastosowań dla prywatnych, lokalnych lub bezpiecznych wdrożeń

Ustawienie Środowiska i Narzędzi

  • Instalowanie i konfigurowanie bibliotek Transformers, Datasets i PEFT
  • Wybór odpowiedniego sprzętu do fine-tuning
  • Ładowanie pretrainowanych modeli z Hugging Face lub innych repozytoriów

Przygotowanie i Przetwarzanie Danych

  • Formaty zbiorów danych (instruction tuning, chat data, tylko tekst)
  • Tokenizacja i zarządzanie sekwencjami
  • Tworzenie niestandardowych zbiorów danych i ładowarków danych

Techniki Fine-Tuning

  • Standardowe pełne fine-tuning vs. metody efektywne parametrami
  • Zastosowanie LoRA i QLoRA dla efektywnego fine-tuning
  • Użycie API Trainer do szybkich eksperymentów

Ocena i Optymalizacja Modelu

  • Ocena zfinetunowanych modeli z metrykami generowania i dokładności
  • Zarządzanie przeuczaniem, uogólnianiem i zbiorami walidacyjnymi
  • Wskazówki dotyczące optymalizacji wydajności i rejestrowania

Wdrożenie i Prywatne Użycie

  • Zapisywanie i ładowanie modeli do wnioskowania
  • Wdrażanie zfinetunowanych modeli w bezpiecznych środowiskach przedsiębiorstw
  • Strategie wdrożeń lokalnych vs. chmurowych

Przykłady i Zastosowania

  • Przykłady użycia LLaMA, Mistral i Qwen w przedsiębiorstwach
  • Obsługa wielojęzycznego i domenowego fine-tuning
  • Dyskusja: Kompromisy między otwartymi i zamkniętymi modelami

Podsumowanie i Kolejne Kroki

Wymagania

  • Zrozumienie duzych modeli jezykowych (LLMs) i ich architektury
  • Doswiadczenie z Python i PyTorch
  • Podstawowa znajomość ekosystemu Hugging Face

Widownia

  • Praktycy ML
  • Developeri AI
 14 godzin

Liczba uczestników


cena netto za uczestnika

Propozycje terminów

Powiązane Kategorie