Bądźmy w kontakcie
 Czas trwania 14 godzin

Plan Szkolenia

Suwerenność AI i lokalne wdrażanie LLM

  • Ryzyko związane z chmurowymi LLM: retencja danych, uczenie się na podstawie wprowadzanych danych, jurysdykcja zagraniczna.
  • Architektura Ollama: serwer modeli, rejestr i API zgodne z OpenAI.
  • Porównanie z vLLM, llama.cpp i Text Generation Inference.
  • Licencjonowanie modeli: warunki licencji dla Llama, Mistral, Qwen i Gemma.

Instalacja i konfiguracja sprzętowa

  • Instalacja Ollama na systemie Linux z obsługą CUDA i ROCm.
  • Praca w trybie fallback wyłącznie na CPU i optymalizacja AVX/AVX2.
  • Wdrożenie w Dockerze i mapowanie wolumenów trwałych.
  • Strategie konfiguracji wielu kart GPU i alokacji pamięci VRAM.

Zarządzanie modelami

  • Pobieranie modeli z rejestru Ollama: ollama pull llama3.
  • Importowanie modeli GGUF z HuggingFace i TheBloke.
  • Poziomy kwantyzacji: kompromisy między Q4_K_M, Q5_K_M a Q8_0.
  • Przełączanie modeli i limity równoległego ładowania modeli.

Własne pliki Modelfile

  • Syntax pliku Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
  • Dostosowywanie parametrów: temperature, top_p, repeat_penalty.
  • Inżynieria promptów systemowych dla zachowań specyficznych dla danej roli.
  • Tworzenie i publikowanie własnych modeli w lokalnym rejestrze.

Integracja z API

  • Punkt końcowy zgodny z OpenAI: /v1/chat/completions.
  • Szerokoprzedmiotowe (streamingowe) odpowiedzi i tryb JSON.
  • Integracja z LangChain, LlamaIndex i aplikacjami własnymi.
  • Uwierzytelnianie i limitowanie przepustowości za pomocą serwera odwrotnego.

Optymalizacja wydajności

  • Dobór rozmiaru okna kontekstu i zarządzanie pamięcią KV cache.
  • Inferencja partii (batch inference) i obsługa równoległych żądań.
  • Alokacja wątków CPU i uwzględnianie topologii NUMA.
  • Monitorowanie wykorzystania GPU i obciążenia pamięci.

Bezpieczeństwo i zgodność

  • Izolacja sieciowa dla punktów końcowych serwowania modeli.
  • Filtrowanie wejścia i moderacja wyjścia.
  • Audyt logów zapytań (promptów) i odpowiedzi (completions).
  • Pochodzenie modeli i weryfikacja sum kontrolnych (hashów).

Wymagania

  • Średniozaawansowana administracja systemem Linux i kontenerami.
  • Rozumienie na wysokim poziomie uczenia maszynowego i modeli transformerów.
  • Znajomość REST API i formatu JSON.

Grupa docelowa

  • Inżynierowie AI i deweloperzy zastępujący chmurowe API LLM.
  • Organizacje, w których wrażliwość danych uniemożliwia korzystanie z modeli chmurowych.
  • Zespoły rządowe i obronne wymagające modeli językowych działających w środowisku odizolowanym od sieci (air-gapped).

Liczba uczestników


Cena za uczestnika (netto)

Propozycje terminów

Powiązane Kategorie