Dostrajanie Modeli i Duże Modele Językowe (LLMs) - Plan Szkolenia

Wprowadzenie do dostrajania

• Czym jest dostrajanie?
• Przypadki użycia i korzyści z dostrajania
• Przegląd wstępnie wytrenowanych modeli i uczenia transferowego

Przygotowanie do dostrajania

• Zbieranie i czyszczenie zbiorów danych
• Zrozumienie wymagań dotyczących danych specyficznych dla zadania
• Analiza eksploracyjna danych i przetwarzanie wstępne

Techniki dostrajania

• Uczenie transferowe i ekstrakcja cech
• Dostrajanie transformerów z Hugging Face
• Dostrajanie dla zadań nadzorowanych i nienadzorowanych

Dostrajanie dużych modeli językowych (LLMs)

• Dostosowywanie LLMs do zadań NLP (np. klasyfikacja tekstu, podsumowanie)
• Trenowanie LLMs na niestandardowych zbiorach danych
• Kontrolowanie zachowania LLMs poprzez inżynierię promptów

Optymalizacja i ocena

• Dostrajanie hiperparametrów
• Ocena wydajności modelu
• Radzenie sobie z przeuczeniem i niedouczeniem

Skalowanie działań związanych z dostrajaniem

• Dostrajanie na systemach rozproszonych
• Wykorzystanie rozwiązań chmurowych do skalowania
• Studia przypadków: Duże projekty dostrajania

Najlepsze praktyki i wyzwania

• Najlepsze praktyki dla udanego dostrajania
• Typowe wyzwania i rozwiązywanie problemów
• Kwestie etyczne w dostrajaniu modeli AI

Tematy zaawansowane (opcjonalnie)

• Dostrajanie modeli wielomodalnych
• Uczenie zero-shot i few-shot
• Eksploracja technik LoRA (Low-Rank Adaptation)

Podsumowanie i kolejne kroki