Duże Modele Językowe (LLMs) i Uczenie przez Wzmocnienie (RL) - Plan Szkolenia

Wprowadzenie do Dużych Modeli Językowych (LLMs)

• Przegląd LLMs
• Definicja i znaczenie
• Zastosowania w AI dzisiaj

Architektura Transformatora

• Czym jest transformator i jak działa?
• Główne komponenty i cechy
• Osadzanie i kodowanie pozycyjne
• Wielogłowicowa uwaga
• Sieć neuronowa typu feed-forward
• Normalizacja i połączenia resztkowe

Modele Transformatorów

• Mechanizm samo-uwagi
• Architektura enkoder-dekoder
• Osadzanie pozycyjne
• BERT (Bidirectional Encoder Representations from Transformers)
• GPT (Generative Pretrained Transformer)

Optymalizacja wydajności i pułapki

• Długość kontekstu
• Mamba i modele przestrzeni stanów
• Flash attention
• Rzadkie transformatory
• Transformatory wizyjne
• Znaczenie kwantyzacji

Ulepszanie Transformatorów

• Generowanie tekstu wspomagane przez wyszukiwanie
• Mieszanka modeli
• Drzewo myśli

Dostrajanie

• Teoria adaptacji niskiego rzędu
• Dostrajanie z QLora

Prawa skalowania i optymalizacja w LLMs

• Znaczenie praw skalowania dla LLMs
• Skalowanie danych i rozmiaru modelu
• Skalowanie obliczeniowe
• Skalowanie efektywności parametrów

Optymalizacja

• Związek między rozmiarem modelu, rozmiarem danych, budżetem obliczeniowym i wymaganiami wnioskowania
• Optymalizacja wydajności i efektywności LLMs
• Najlepsze praktyki i narzędzia do trenowania i dostrajania LLMs

Trenowanie i dostrajanie LLMs

• Kroki i wyzwania związane z trenowaniem LLMs od podstaw
• Pozyskiwanie i utrzymanie danych
• Wymagania dotyczące dużych zbiorów danych, CPU i pamięci
• Wyzwania optymalizacyjne
• Krajobraz otwartoźródłowych LLMs

Podstawy Uczenia przez Wzmocnienie (RL)

• Wprowadzenie do Uczenia przez Wzmocnienie
• Uczenie przez pozytywne wzmocnienie
• Definicja i podstawowe koncepcje
• Proces decyzyjny Markowa (MDP)
• Programowanie dynamiczne
• Metody Monte Carlo
• Uczenie różnicowe czasowe

Głębokie Uczenie przez Wzmocnienie

• Głębokie Sieci Q (DQN)
• Optymalizacja Polityki Proksymalnej (PPO)
• Elementy Uczenia przez Wzmocnienie

Integracja LLMs i Uczenia przez Wzmocnienie

• Łączenie LLMs z Uczeniem przez Wzmocnienie
• Jak RL jest używane w LLMs
• Uczenie przez Wzmocnienie z Ludzką Informacją Zwrotną (RLHF)
• Alternatywy dla RLHF

Studia przypadków i zastosowania

• Zastosowania w świecie rzeczywistym
• Historie sukcesów i wyzwania

Tematy zaawansowane

• Zaawansowane techniki
• Zaawansowane metody optymalizacji
• Najnowsze badania i rozwój

Podsumowanie i kolejne kroki