Modele decyzyjne do hostowania własnego: serwowanie, kwantyzacja, opóźnienia i operacje - Plan Szkolenia

Opcje wdrożenia

• Kompromisy między API udostępnionym przez dostawcę (hosted) a hostowaniem własnym
• Wzorce wdrożeń on-premises, brzegowych (edge) i izolowanych (air-gapped)
• Pojedynczy model versus portfolio modeli
• Porównanie kosztu jednej decyzji

Wymiarowanie sprzętu i pojemność

• Ślad pamięciowy w zależności od liczby parametrów
• Tylko procesor (CPU) versus przyspieszanie kartą GPU
• Planowanie współbieżności i przepustowości
• Zapas mocy na wzrost długości zadań

Stosy serwowania

• Opcje vLLM i SGLang
• Wykonywanie llama.cpp i GGUF
• Ollama do lokalnego rozwoju
• Dobór rozwiązania na podstawie charakterystyki obciążeń decyzyjnych

Kwantyzacja bez utraty kalibracji

• Formaty precyzji i oszczędności pamięci
• Pomiar utraty jakości i kalibracji
• Warianty per-tensor i uwzględniające ważność cech (importance-aware)
• Testy akceptacyjne po kwantyzacji

Inżynieria opóźnień

• Opóźnienie medianowe versus ogonowe
• Wzrost opóźnień wraz z długością kontekstu
• Przyspieszone uruchomienie (warm start) i cachowanie modeli
• Batching wielu pytań decyzyjnych

Środowiska brzegowe i ograniczone

• Małe modele decyzyjne na procesorze (CPU)
• Wdrożenie na Apple Silicon i w urządzeniach wbudowanych
• Działanie offline i strategia aktualizacji
• Dystrybucja wag w środowiskach izolowanych (air-gapped)

Konteneryzacja i skalowanie

• Projektowanie obrazów do serwowania modeli
• Zarządzanie woluminami i cache
• Skalowanie poziome i routing
• Ograniczenia zasobów i współdzielenie GPU

Obserwowalność

• Metryki żądań, opóźnień i błędów
• Monitorowanie rozkładu pewności (confidence)
• Śledzenie wyników decyzji i eskalacji
• Alarmowanie o dryfie kalibracji

Wersjonowanie i wdrożenie

• Wersjonowanie modeli i adapterów
• Wdrożenie cieniowe (shadow) i kanaryczne (canary)
• Przypięte pliki modeli do celów audytowych
• Procedury wycofywania (rollback)

Bezpieczeństwo i wielodostępność

• Uwierzytelnianie i limitowanie żądań (rate limiting)
• Izolacja najemców dla promptów i logów
• Izolacja sieciowa i kontrola ruchu wychodzącego (egress)
• Prowadzenie audytu decyzji