Ollama: Samodzielne Hostowanie Dużych Modeli Językowych Zastępujących API OpenAI i Claude - Plan Szkolenia
Ollama to narzędzie open-source do uruchamiania dużych modeli językowych lokalnie na sprzęcie konsumenckim i przedsiębiorczym. Łączy kwantyzację modeli, alokację GPU i serwowanie API w jednym interfejsie wiersza poleceń, umożliwiając organizacjom samodzielne hostowanie modeli LLM, takich jak Llama, Mistral i Qwen, bez wysyłania promptów lub danych do OpenAI, Anthropic czy Google.
To szkolenie prowadzone przez instruktora na żywo (online lub na miejscu) jest skierowane do średnio zaawansowanych inżynierów AI i operatorów platform, którzy chcą użyć Ollamy do zastąpienia chmurowych API modeli LLM samodzielnie hostowanymi, suwerennymi modelami językowymi.
Po zakończeniu szkolenia uczestnicy będą mogli:
- Zainstalować Ollamę na systemach Linux, macOS i Windows z obsługą GPU.
- Pobierać, kwantyzować i serwować modele z rejestru Ollama i HuggingFace.
- Tworzyć niestandardowe pliki Modelfile z systemowymi promptami i dostrajaniem parametrów.
- Integrować lokalne modele LLM z aplikacjami za pomocą kompatybilnego z OpenAI API.
- Optymalizować wydajność inferencji dla konfiguracji tylko z CPU i wieloma GPU.
Format kursu
- Interaktywny wykład i dyskusja.
- Dużo ćwiczeń i praktyki.
- Praktyczna implementacja w środowisku live-lab.
Opcje dostosowania kursu
- Aby zamówić dostosowane szkolenie, skontaktuj się z nami w celu uzgodnienia szczegółów.
Plan Szkolenia
Suwerenność AI i lokalne wdrażanie modeli LLM
- Ryzyka związane z chmurowymi modelami LLM: przechowywanie danych, trenowanie na danych wejściowych, jurysdykcja zagraniczna.
- Architektura Ollamy: serwer modelu, rejestr i kompatybilne z OpenAI API.
- Porównanie z vLLM, llama.cpp i Text Generation Inference.
- Licencjonowanie modeli: warunki Llama, Mistral, Qwen i Gemma.
Instalacja i konfiguracja sprzętu
- Instalacja Ollamy na Linuxie z obsługą CUDA i ROCm.
- Tryb awaryjny tylko z CPU i optymalizacja AVX/AVX2.
- Wdrażanie za pomocą Dockera i mapowanie trwałych woluminów.
- Konfiguracja wieloprocesorowa GPU i strategie alokacji VRAM.
Zarządzanie modelami
- Pobieranie modeli z rejestru Ollama: ollama pull llama3.
- Importowanie modeli GGUF z HuggingFace i TheBloke.
- Poziomy kwantyzacji: kompromisy Q4_K_M, Q5_K_M, Q8_0.
- Przełączanie modeli i limity jednoczesnego ładowania modeli.
Niestandardowe pliki Modelfile
- Składnia pisania plików Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Dostrajanie temperatury, top_p i repeat_penalty.
- Inżynieria systemowych promptów dla zachowań specyficznych dla roli.
- Tworzenie i publikowanie niestandardowych modeli w lokalnym rejestrze.
Integracja API
- Kompatybilny z OpenAI endpoint /v1/chat/completions.
- Przesyłanie odpowiedzi strumieniowo i tryb JSON.
- Integracja z LangChain, LlamaIndex i niestandardowymi aplikacjami.
- Uwierzytelnianie i ograniczanie szybkości za pomocą odwrotnego proxy.
Optymalizacja wydajności
- Rozmiar okna kontekstu i zarządzanie pamięcią podręczną KV.
- Przetwarzanie wsadowe i obsługa równoległych żądań.
- Alokacja wątków CPU i świadomość NUMA.
- Monitorowanie wykorzystania GPU i obciążenia pamięci.
Bezpieczeństwo i zgodność
- Izolacja sieciowa dla punktów końcowych serwowania modeli.
- Filtrowanie wejść i potoki moderacji wyjść.
- Rejestrowanie audytowe promptów i odpowiedzi.
- Pochodzenie modeli i weryfikacja skrótów.
Wymagania
- Średnio zaawansowana znajomość administracji Linux i kontenerów.
- Zrozumienie podstaw uczenia maszynowego i modeli transformatorowych.
- Znajomość REST API i JSON.
Grupa docelowa
- Inżynierowie AI i deweloperzy zastępujący chmurowe API modeli LLM.
- Organizacje z wrażliwością danych uniemożliwiającą korzystanie z modeli w chmurze.
- Zespoły rządowe i obronne wymagające modeli językowych w izolacji sieciowej.
Szkolenia otwarte są realizowane w przypadku uzbierania się grupy szkoleniowej liczącej co najmniej 5 osób na dany termin.
Ollama: Samodzielne Hostowanie Dużych Modeli Językowych Zastępujących API OpenAI i Claude - Plan Szkolenia - Rezerwacja
Ollama: Samodzielne Hostowanie Dużych Modeli Językowych Zastępujących API OpenAI i Claude - Plan Szkolenia - Zapytanie
Ollama: Samodzielne Hostowanie Dużych Modeli Językowych Zastępujących API OpenAI i Claude - Zapytanie o Konsultacje
Propozycje terminów
Szkolenia Powiązane
Zaawansowane Debugowanie i Ocena Modeli Ollama
35 godzinZaawansowane Debugowanie i Ocena Modeli Ollama to dogłębny kurs skupiający się na diagnozowaniu, testowaniu i mierzeniu zachowania modeli podczas uruchamiania lokalnych lub prywatnych wdrożeń Ollama.
Szkolenie prowadzone przez instruktora (online lub na miejscu) jest skierowane do zaawansowanych inżynierów AI, specjalistów ML Ops oraz praktyków QA, którzy chcą zapewnić niezawodność, wierność i gotowość operacyjną modeli opartych na Ollama w środowisku produkcyjnym.
Pod koniec szkolenia uczestnicy będą mogli:
- Przeprowadzać systematyczne debugowanie modeli hostowanych na Ollama i wiarygodnie odtwarzać tryby awarii.
- Projektować i wykonywać solidne potoki oceny z wykorzystaniem metryk ilościowych i jakościowych.
- Wdrażać obserwowalność (logi, ślady, metryki) w celu monitorowania stanu modeli i ich dryfu.
- Automatyzować testowanie, walidację i kontrole regresji zintegrowane z potokami CI/CD.
Format kursu
- Interaktywne wykłady i dyskusje.
- Praktyczne laboratoria i ćwiczenia debugowania z wykorzystaniem wdrożeń Ollama.
- Studia przypadków, sesje rozwiązywania problemów w grupach oraz warsztaty automatyzacji.
Opcje dostosowania kursu
- Aby zamówić dostosowane szkolenie, prosimy o kontakt w celu ustalenia szczegółów.
Tworzenie prywatnych przepływów pracy AI z wykorzystaniem Ollama
14 godzinTo szkolenie prowadzone przez instruktora na żywo w Polsce (online lub na miejscu) jest skierowane do profesjonalistów na zaawansowanym poziomie, którzy chcą wdrożyć bezpieczne i efektywne przepływy pracy napędzane AI przy użyciu Ollama.
Po zakończeniu szkolenia uczestnicy będą mogli:
- Wdrażać i konfigurować Ollama do prywatnego przetwarzania AI.
- Integrować modele AI w bezpieczne przepływy pracy przedsiębiorstwa.
- Optymalizować wydajność AI przy zachowaniu prywatności danych.
- Automatyzować procesy biznesowe z wykorzystaniem możliwości AI na miejscu.
- Zapewniać zgodność z politykami bezpieczeństwa i zarządzania przedsiębiorstwem.
Wdrażanie i optymalizacja LLM z użyciem Ollama
14 godzinTo szkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu), jest skierowane do profesjonalistów na średnim poziomie zaawansowania, którzy chcą wdrażać, optymalizować i integrować LLM z użyciem Ollama.
Po zakończeniu szkolenia uczestnicy będą w stanie:
- Konfigurować i wdrażać LLM z użyciem Ollama.
- Optymalizować modele AI pod kątem wydajności i efektywności.
- Wykorzystywać akcelerację GPU w celu poprawy szybkości wnioskowania.
- Integrować Ollama z przepływami pracy i aplikacjami.
- Monitorować i utrzymywać wydajność modeli AI w czasie.
EXO: Kompleksowe Wdrażanie Lokalnego Klastra AI
21 godzinTo szkolenie prowadzone przez instruktora w Polsce (online lub na miejscu) jest skierowane do administratorów systemów i inżynierów DevOps, którzy chcą wdrażać, konfigurować i zarządzać klastrami EXO do prywatnego wnioskowania LLM na wielu węzłach Apple Silicon lub Linux.
EXO dla DevOps: Budowa prywatnej infrastruktury AI
21 godzinSzkolenie prowadzone przez instruktora na żywo w Polsce (online lub na miejscu) jest skierowane do inżynierów DevOps i architektów infrastruktury, którzy chcą zautomatyzować procesy provisioningu, monitorowania i zarządzania cyklem życia prywatnych klastrów AI zbudowanych na EXO.
EXO Security and Governance: Zarządzanie Modelami w Trybie Offline
14 godzinTo szkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu) jest skierowane do inżynierów bezpieczeństwa i inspektorów zgodności, którzy chcą wzmocnić wdrożenia EXO, kontrolować dostęp do modeli i zarządzać obciążeniami AI działającymi wyłącznie na miejscu.
Dostrajanie i dostosowywanie modeli AI na platformie Ollama
14 godzinTo szkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu) jest skierowane do profesjonalistów na zaawansowanym poziomie, którzy chcą dostrajać i dostosowywać modele AI na platformie Ollama w celu poprawy wydajności i zastosowań specyficznych dla domeny.
Pod koniec szkolenia uczestnicy będą mogli:
- Skonfigurować wydajne środowisko do dostrajania modeli AI na platformie Ollama.
- Przygotować zestawy danych do nadzorowanego dostrajania i uczenia przez wzmacnianie.
- Optymalizować modele AI pod kątem wydajności, dokładności i efektywności.
- Wdrażać dostosowane modele w środowiskach produkcyjnych.
- Oceniać poprawę modeli i zapewniać ich odporność.
Bezpieczne lokalne Agentic AI: Rozwój na Ollama w ramach infrastruktury wewnętrznej dla firm podlegających regulacjom
21 godzinTo szkolenie prowadzone przez instruktora (online lub stacjonarne) w języku Polsce skierowane jest do programistów i zespołów technicznych, którzy chcą wykorzystywać Ollama oraz modele open source do budowania i uruchamiania prywatnych rozwiązań AI typu agentic na wewnętrznej infrastrukturze.
Pod koniec tego szkolenia uczestnicy będą potrafili: zainstalować i skonfigurować Ollama, ocenić i uruchomić modele open source lokalnie, tworzyć proste przepływy pracy typu agentic oraz oparte na wyszukiwaniu informacji (retrieval-based), a także zastosować kontrole bezpieczeństwa i rządzenia (governance) w środowiskach regulowanych.
Aplikacje wielomodalne z Ollama
21 godzinOllama to platforma umożliwiająca lokalne uruchamianie i dostosowywanie dużych modeli językowych i wielomodalnych.
To szkolenie prowadzone przez instruktora na żywo (online lub na miejscu) jest skierowane do zaawansowanych inżynierów uczenia maszynowego, badaczy AI oraz deweloperów produktów, którzy chcą budować i wdrażać aplikacje wielomodalne z wykorzystaniem Ollama.
Po zakończeniu szkolenia uczestnicy będą mogli:
- Konfigurować i uruchamiać modele wielomodalne z Ollama.
- Integrować dane tekstowe, obrazowe i dźwiękowe w aplikacjach rzeczywistych.
- Budować systemy do rozumienia dokumentów i wizualnych pytań i odpowiedzi.
- Tworzyć wielomodalne agenty zdolne do wnioskowania między różnymi modalnościami.
Format kursu
- Interaktywne wykłady i dyskusje.
- Praktyczne ćwiczenia z rzeczywistymi zbiorami danych wielomodalnych.
- Implementacja wielomodalnych potoków na żywo z wykorzystaniem Ollama.
Opcje dostosowania kursu
- Aby zamówić dostosowane szkolenie, prosimy o kontakt w celu ustalenia szczegółów.
Wprowadzenie do Ollama: Uruchamianie lokalnych modeli AI
7 godzinTo szkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu) jest skierowane do profesjonalistów na poziomie podstawowym, którzy chcą zainstalować, skonfigurować i używać Ollamy do uruchamiania modeli AI na swoich lokalnych maszynach.
Po zakończeniu szkolenia uczestnicy będą mogli:
- Zrozumieć podstawy Ollamy i jej możliwości.
- Skonfigurować Ollamę do uruchamiania lokalnych modeli AI.
- Wdrażać i korzystać z LLM za pomocą Ollamy.
- Optymalizować wydajność i wykorzystanie zasobów dla obciążeń AI.
- Poznać przypadki użycia lokalnego wdrażania AI w różnych branżach.
Ollama & Prywatność Danych: Wzorce Bezpiecznego Wdrażania
14 godzinOllama to platforma umożliwiająca lokalne uruchamianie dużych modeli językowych i multimodalnych, wspierając jednocześnie strategie bezpiecznego wdrażania.
To szkolenie prowadzone przez instruktora (online lub na miejscu) skierowane jest do specjalistów na poziomie średnio zaawansowanym, którzy chcą wdrożyć Ollama z zachowaniem silnych środków prywatności danych i zgodności z przepisami.
Pod koniec szkolenia uczestnicy będą mogli:
- Bezpiecznie wdrożyć Ollama w środowiskach konteneryzowanych i lokalnych.
- Zastosować techniki różnicowej prywatności w celu ochrony wrażliwych danych.
- Wdrożyć bezpieczne praktyki logowania, monitorowania i audytu.
- Egzekwować kontrolę dostępu do danych zgodnie z wymaganiami zgodności.
Format kursu
- Interaktywny wykład i dyskusja.
- Praktyczne laboratoria z wzorcami bezpiecznego wdrażania.
- Studia przypadków i ćwiczenia praktyczne zorientowane na zgodność.
Opcje dostosowania kursu
- Aby zamówić dostosowane szkolenie, skontaktuj się z nami w celu ustalenia szczegółów.
Zastosowania Ollamy w finansach
14 godzinOllama to lekka platforma do lokalnego uruchamiania dużych modeli językowych.
To szkolenie prowadzone przez instruktora na żywo (online lub na miejscu) jest skierowane do praktyków finansowych i personelu IT na poziomie średniozaawansowanym, którzy chcą wdrażać, dostosowywać i uruchamiać rozwiązania oparte na Ollamie w środowiskach finansowych.
Po ukończeniu tego szkolenia uczestnicy zdobędą umiejętności potrzebne do:
- Wdrażania i konfigurowania Ollamy do bezpiecznego użytku w operacjach finansowych.
- Integrowania lokalnych modeli językowych (LLM) z przepływami pracy analitycznymi i raportowymi.
- Dostosowywania modeli do terminologii i zadań specyficznych dla finansów.
- Stosowania najlepszych praktyk w zakresie bezpieczeństwa, prywatności i zgodności.
Format kursu
- Interaktywny wykład i dyskusja.
- Ćwiczenia praktyczne z danymi finansowymi.
- Wdrożenie scenariuszy skupionych na finansach w laboratorium na żywo.
Opcje dostosowania kursu
- Aby zamówić dostosowane szkolenie, skontaktuj się z nami, aby uzgodnić szczegóły.
Zastosowania Ollama w Ochronie Zdrowia
14 godzinOllama to lekka platforma do lokalnego uruchamiania dużych modeli językowych.
To szkolenie prowadzone przez instruktora, na żywo (online lub na miejscu) jest skierowane do praktyków ochrony zdrowia na poziomie średniozaawansowanym oraz zespołów IT, którzy chcą wdrożyć, dostosować i wykorzystać rozwiązania oparte na Ollamie w środowiskach klinicznych i administracyjnych.
Po ukończeniu szkolenia uczestnicy będą mogli:
- Zainstalować i skonfigurować Ollamę do bezpiecznego użytku w placówkach ochrony zdrowia.
- Zintegrować lokalne modele językowe (LLM) z procesami klinicznymi i administracyjnymi.
- Dostosować modele do terminologii i zadań specyficznych dla ochrony zdrowia.
- Stosować najlepsze praktyki w zakresie prywatności, bezpieczeństwa i zgodności z przepisami.
Format kursu
- Interaktywny wykład i dyskusja.
- Pokazy praktyczne i ćwiczenia z przewodnikiem.
- Praktyczna implementacja w symulowanym środowisku ochrony zdrowia.
Opcje dostosowania kursu
- Aby zamówić dostosowane szkolenie, skontaktuj się z nami w celu uzgodnienia szczegółów.
Ollama dla odpowiedzialnej sztucznej inteligencji i zarządzania
14 godzinOllama to platforma do lokalnego uruchamiania dużych modeli językowych i multimodalnych, wspierająca zarządzanie i odpowiedzialne praktyki w dziedzinie sztucznej inteligencji.
Szkolenie prowadzone przez instruktora (online lub na miejscu) skierowane jest do profesjonalistów na poziomie średniozaawansowanym i zaawansowanym, którzy chcą wdrożyć zasady uczciwości, przejrzystości i odpowiedzialności w aplikacjach opartych na Ollamie.
Pod koniec szkolenia uczestnicy będą mogli:
- Stosować zasady odpowiedzialnej sztucznej inteligencji w wdrożeniach Ollamy.
- Wdrażać strategie filtrowania treści i łagodzenia uprzedzeń.
- Projektować przepływy pracy związane z zarządzaniem w celu dostosowania i możliwości audytu sztucznej inteligencji.
- Tworzyć ramy monitorowania i raportowania zgodności.
Format kursu
- Interaktywny wykład i dyskusja.
- Praktyczne laboratoria projektowania przepływów pracy związanych z zarządzaniem.
- Studia przypadków i ćwiczenia skupione na zgodności.
Opcje dostosowania kursu
- Aby zamówić dostosowane szkolenie, skontaktuj się z nami w celu ustalenia szczegółów.
Soverejne AI dla regulowanych organizacji: Kontrola nad danymi, modelami i środowiskami wnioskowania
7 godzinTo prowadzone przez instruktora, żywe szkolenie z zakresu Polsce (online lub stacjonarne) jest skierowane do liderów IT na poziomie średnim, specjalistów ds. zgodności, zespołów ds. bezpieczeństwa oraz architektów przedsiębiorstw, którzy pragną stosować zasady suwerenności AI i praktyki governance w celu projektowania środowisk AI chroniących poufne dane, spełniających wymagania lokalizacyjne oraz ograniczających zależność od dostawców.
Pod koniec tego szkolenia uczestnicy będą potrafili: wyjaśniać koncepcje suwerenności AI, oceniać opcje hostingu i governance, definiować środki kontroli dla promptów i logów oraz tworzyć praktyczną mapę drogową wdrożeń.