Dostrajanie otwartoźródłowych LLM (LLaMA, Mistral, Qwen itp.) - Plan Szkolenia

Wprowadzenie do otwartoźródłowych LLM

• Czym są modele o otwartych wagach i dlaczego są ważne
• Przegląd modeli LLaMA, Mistral, Qwen i innych modeli społecznościowych
• Przypadki użycia w prywatnych, lokalnych lub bezpiecznych wdrożeniach

Konfiguracja środowiska i narzędzia

• Instalacja i konfiguracja bibliotek Transformers, Datasets i PEFT
• Wybór odpowiedniego sprzętu do dostrajania
• Ładowanie wstępnie wytrenowanych modeli z Hugging Face lub innych repozytoriów

Przygotowanie i przetwarzanie danych

• Formaty zestawów danych (dostrajanie instrukcji, dane czatu, tylko tekst)
• Tokenizacja i zarządzanie sekwencjami
• Tworzenie niestandardowych zestawów danych i ładowarek danych

Techniki dostrajania

• Standardowe pełne dostrajanie vs. metody efektywne parametrowo
• Zastosowanie LoRA i QLoRA do efektywnego dostrajania
• Korzystanie z API Trainer do szybkiego eksperymentowania

Ocena i optymalizacja modelu

• Ocena dostrojonych modeli za pomocą metryk generowania i dokładności
• Zarządzanie przeuczeniem, generalizacją i zestawami walidacyjnymi
• Wskazówki dotyczące optymalizacji wydajności i logowania

Wdrażanie i prywatne użycie

• Zapisywanie i ładowanie modeli do wnioskowania
• Wdrażanie dostrojonych modeli w bezpiecznych środowiskach przedsiębiorstw
• Strategie wdrażania lokalnego vs. w chmurze

Studia przypadków i przykłady użycia

• Przykłady wykorzystania modeli LLaMA, Mistral i Qwen w przedsiębiorstwach
• Obsługa dostrajania wielojęzycznego i dziedzinowego
• Dyskusja: Kompromisy między modelami otwartymi a zamkniętymi

Podsumowanie i kolejne kroki