Dziękujemy za wysłanie zapytania! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Dziękujemy za wysłanie rezerwacji! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Czas trwania 14 godzin
Plan Szkolenia
Suwerenność AI i lokalne wdrażanie LLM
- Ryzyko związane z chmurowymi LLM: retencja danych, uczenie się na podstawie wprowadzanych danych, jurysdykcja zagraniczna.
- Architektura Ollama: serwer modeli, rejestr i API zgodne z OpenAI.
- Porównanie z vLLM, llama.cpp i Text Generation Inference.
- Licencjonowanie modeli: warunki licencji dla Llama, Mistral, Qwen i Gemma.
Instalacja i konfiguracja sprzętowa
- Instalacja Ollama na systemie Linux z obsługą CUDA i ROCm.
- Praca w trybie fallback wyłącznie na CPU i optymalizacja AVX/AVX2.
- Wdrożenie w Dockerze i mapowanie wolumenów trwałych.
- Strategie konfiguracji wielu kart GPU i alokacji pamięci VRAM.
Zarządzanie modelami
- Pobieranie modeli z rejestru Ollama: ollama pull llama3.
- Importowanie modeli GGUF z HuggingFace i TheBloke.
- Poziomy kwantyzacji: kompromisy między Q4_K_M, Q5_K_M a Q8_0.
- Przełączanie modeli i limity równoległego ładowania modeli.
Własne pliki Modelfile
- Syntax pliku Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Dostosowywanie parametrów: temperature, top_p, repeat_penalty.
- Inżynieria promptów systemowych dla zachowań specyficznych dla danej roli.
- Tworzenie i publikowanie własnych modeli w lokalnym rejestrze.
Integracja z API
- Punkt końcowy zgodny z OpenAI: /v1/chat/completions.
- Szerokoprzedmiotowe (streamingowe) odpowiedzi i tryb JSON.
- Integracja z LangChain, LlamaIndex i aplikacjami własnymi.
- Uwierzytelnianie i limitowanie przepustowości za pomocą serwera odwrotnego.
Optymalizacja wydajności
- Dobór rozmiaru okna kontekstu i zarządzanie pamięcią KV cache.
- Inferencja partii (batch inference) i obsługa równoległych żądań.
- Alokacja wątków CPU i uwzględnianie topologii NUMA.
- Monitorowanie wykorzystania GPU i obciążenia pamięci.
Bezpieczeństwo i zgodność
- Izolacja sieciowa dla punktów końcowych serwowania modeli.
- Filtrowanie wejścia i moderacja wyjścia.
- Audyt logów zapytań (promptów) i odpowiedzi (completions).
- Pochodzenie modeli i weryfikacja sum kontrolnych (hashów).
Wymagania
- Średniozaawansowana administracja systemem Linux i kontenerami.
- Rozumienie na wysokim poziomie uczenia maszynowego i modeli transformerów.
- Znajomość REST API i formatu JSON.
Grupa docelowa
- Inżynierowie AI i deweloperzy zastępujący chmurowe API LLM.
- Organizacje, w których wrażliwość danych uniemożliwia korzystanie z modeli chmurowych.
- Zespoły rządowe i obronne wymagające modeli językowych działających w środowisku odizolowanym od sieci (air-gapped).