Dostrajanie modeli wizyjno-językowych (VLMs) - Plan Szkolenia
Dostrajanie modeli wizyjno-językowych (VLMs) to specjalistyczna umiejętność stosowana w celu poprawy wielomodalnych systemów AI, które przetwarzają zarówno dane wizualne, jak i tekstowe dla zastosowań w rzeczywistych scenariuszach.
To szkolenie prowadzone przez instruktora, na żywo (online lub na miejscu) jest skierowane do zaawansowanych inżynierów przetwarzania obrazu i deweloperów AI, którzy chcą dostroić modele VLMs, takie jak CLIP i Flamingo, aby poprawić ich wydajność w zadaniach wizualno-tekstowych specyficznych dla branży.
Pod koniec szkolenia uczestnicy będą mogli:
- Zrozumieć architekturę i metody wstępnego trenowania modeli wizyjno-językowych.
- Dostroić modele VLMs do klasyfikacji, wyszukiwania, opisywania obrazów lub wielomodalnych pytań i odpowiedzi.
- Przygotować zbiory danych i zastosować strategie PEFT w celu zmniejszenia zużycia zasobów.
- Ocenić i wdrożyć dostosowane modele VLMs w środowiskach produkcyjnych.
Format kursu
- Interaktywny wykład i dyskusja.
- Dużo ćwiczeń i praktyki.
- Praktyczna implementacja w środowisku live-lab.
Opcje dostosowania kursu
- Aby zamówić dostosowane szkolenie, prosimy o kontakt w celu uzgodnienia szczegółów.
Plan Szkolenia
Wprowadzenie do modeli wizyjno-językowych
- Przegląd VLMs i ich roli w wielomodalnym AI
- Popularne architektury: CLIP, Flamingo, BLIP itp.
- Przykłady zastosowań: wyszukiwanie, opisywanie obrazów, systemy autonomiczne, analiza treści
Przygotowanie środowiska do dostrajania
- Konfiguracja OpenCLIP i innych bibliotek VLMs
- Formaty zbiorów danych dla par obraz-tekst
- Potoki przetwarzania wstępnego dla danych wizualnych i językowych
Dostrajanie modeli CLIP i podobnych
- Funkcja straty kontrastowej i wspólne przestrzenie osadzania
- Praktyczne ćwiczenie: dostrajanie CLIP na niestandardowych zbiorach danych
- Obsługa danych specyficznych dla domeny i wielojęzycznych
Zaawansowane techniki dostrajania
- Wykorzystanie metod LoRA i adapterowych w celu zwiększenia efektywności
- Dostrajanie promptów i wstrzykiwanie wizualnych promptów
- Kompensacje między oceną zero-shot a dostrojoną
Ocena i benchmarkowanie
- Metryki dla VLMs: dokładność wyszukiwania, BLEU, CIDEr, recall
- Diagnostyka dopasowania wizualno-tekstowego
- Wizualizacja przestrzeni osadzania i błędnych klasyfikacji
Wdrażanie i wykorzystanie w rzeczywistych aplikacjach
- Eksportowanie modeli do wnioskowania (TorchScript, ONNX)
- Integracja VLMs z potokami lub API
- Rozważenia dotyczące zasobów i skalowanie modeli
Studia przypadków i zastosowania praktyczne
- Analiza mediów i moderacja treści
- Wyszukiwanie i pobieranie w e-commerce i bibliotekach cyfrowych
- Wielomodalna interakcja w robotyce i systemach autonomicznych
Podsumowanie i kolejne kroki
Wymagania
- Zrozumienie głębokiego uczenia w dziedzinie przetwarzania obrazu i NLP
- Doświadczenie w pracy z PyTorch i modelami opartymi na transformatorach
- Znajomość architektur modeli wielomodalnych
Grupa docelowa
- Inżynierowie przetwarzania obrazu
- Deweloperzy AI
Szkolenia otwarte są realizowane w przypadku uzbierania się grupy szkoleniowej liczącej co najmniej 5 osób na dany termin.
Dostrajanie modeli wizyjno-językowych (VLMs) - Plan Szkolenia - Rezerwacja
Dostrajanie modeli wizyjno-językowych (VLMs) - Plan Szkolenia - Zapytanie
Dostrajanie modeli wizyjno-językowych (VLMs) - Zapytanie o Konsultacje
Propozycje terminów
Szkolenia Powiązane
Zaawansowane dostrajanie i zarządzanie promptami w Vertex AI
14 godzinVertex AI oferuje zaawansowane narzędzia do dostrajania dużych modeli i zarządzania promptami, umożliwiając programistom i zespołom danych optymalizację dokładności modeli, usprawnienie procesów iteracyjnych oraz zapewnienie rygorystycznej oceny dzięki wbudowanym bibliotekom i usługom.
To szkolenie prowadzone przez instruktora, na żywo (online lub na miejscu) jest skierowane do praktyków na poziomie średniozaawansowanym i zaawansowanym, którzy chcą poprawić wydajność i niezawodność aplikacji generatywnej sztucznej inteligencji, korzystając z nadzorowanego dostrajania, wersjonowania promptów i usług oceny w Vertex AI.
Po zakończeniu szkolenia uczestnicy będą mogli:
- Stosować techniki nadzorowanego dostrajania do modeli Gemini w Vertex AI.
- Implementować przepływy pracy związane z zarządzaniem promptami, w tym wersjonowanie i testowanie.
- Wykorzystywać biblioteki oceny do porównywania i optymalizacji wydajności AI.
- Wdrażać i monitorować ulepszone modele w środowiskach produkcyjnych.
Format kursu
- Interaktywny wykład i dyskusja.
- Praktyczne laboratoria z narzędziami do dostrajania i zarządzania promptami w Vertex AI.
- Studia przypadków optymalizacji modeli przedsiębiorstw.
Opcje dostosowania kursu
- Aby zamówić dostosowane szkolenie, skontaktuj się z nami w celu ustalenia szczegółów.
Zaawansowane techniki w uczeniu transferowym
14 godzinTen prowadzony przez instruktora, żywy trening w Polsce (online lub na miejscu) jest skierowany do zaawansowanych specjalistów od uczenia maszynowego, którzy chcą opanować najnowocześniejsze techniki uczenia transferowego i zastosować je do złożonych problemów rzeczywistych.
Pod koniec tego szkolenia uczestnicy będą mogli:
- Zrozumieć zaawansowane koncepcje i metodologie w uczeniu transferowym.
- Zaimplementować techniki adaptacji specyficzne dla domeny w wstępnie wytrenowanych modelach.
- Zastosować ciągłe uczenie do zarządzania ewoluującymi zadaniami i zestawami danych.
- Opanować dostrajanie wielozadaniowe, aby poprawić wydajność modelu w różnych zadaniach.
Strategie ciągłego uczenia się i aktualizacji modeli dla modeli dostrojonych
14 godzinTo szkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu) jest skierowane do zaawansowanych inżynierów utrzymania AI i profesjonalistów MLOps, którzy chcą wdrożyć solidne potoki ciągłego uczenia się i skuteczne strategie aktualizacji dla wdrożonych, dostrojonych modeli.
Pod koniec tego szkolenia uczestnicy będą mogli:
- Projektować i wdrażać przepływy pracy ciągłego uczenia się dla wdrożonych modeli.
- Zapobiegać katastrofalnemu zapominaniu poprzez odpowiednie szkolenie i zarządzanie pamięcią.
- Automatyzować monitorowanie i wyzwalacze aktualizacji na podstawie dryfu modelu lub zmian w danych.
- Integrować strategie aktualizacji modeli z istniejącymi potokami CI/CD i MLOps.
Wdrażanie Dostrojonych Modeli w Produkcji
21 godzinSzkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu) jest skierowane do profesjonalistów na zaawansowanym poziomie, którzy chcą wdrażać dostrojone modele w sposób niezawodny i efektywny.
Po zakończeniu szkolenia uczestnicy będą mogli:
- Zrozumieć wyzwania związane z wdrażaniem dostrojonych modeli w produkcji.
- Konteneryzować i wdrażać modele za pomocą narzędzi takich jak Docker i Kubernetes.
- Wdrażać monitorowanie i logowanie dla wdrożonych modeli.
- Optymalizować modele pod kątem opóźnienia i skalowalności w rzeczywistych scenariuszach.
Dostrajanie modeli do specyfiki domeny w finansach
21 godzinTo szkolenie prowadzone przez instruktora w Polsce (online lub na miejscu) jest skierowane do profesjonalistów na średnim poziomie zaawansowania, którzy chcą zdobyć praktyczne umiejętności dostosowywania modeli AI do kluczowych zadań finansowych.
Po ukończeniu szkolenia uczestnicy będą w stanie:
- Zrozumieć podstawy dostrajania modeli do aplikacji finansowych.
- Wykorzystywać wstępnie wytrenowane modele do zadań specyficznych dla finansów.
- Stosować techniki wykrywania oszustw, oceny ryzyka i generowania porad finansowych.
- Zapewniać zgodność z regulacjami finansowymi, takimi jak GDPR i SOX.
- Wdrażać praktyki związane z bezpieczeństwem danych i etyką AI w aplikacjach finansowych.
Fine-Tuning Models and Large Language Models (LLMs)
14 godzinTo prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla średnio zaawansowanych i zaawansowanych profesjonalistów, którzy chcą dostosować wstępnie wytrenowane modele do określonych zadań i zestawów danych.
Pod koniec tego szkolenia uczestnicy będą mogli
- Zrozumieć zasady dostrajania i jego zastosowania.
- Przygotować zestawy danych do dostrajania wstępnie wytrenowanych modeli.
- Dostroić duże modele językowe (LLM) do zadań NLP.
- Optymalizować wydajność modeli i radzić sobie z typowymi wyzwaniami.
Efektywne Dostrajanie z Wykorzystaniem Adaptacji Niskiego Rzędu (LoRA)
14 godzinSzkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu) jest skierowane do programistów i praktyków AI na poziomie średniozaawansowanym, którzy chcą wdrożyć strategie dostrajania dużych modeli bez konieczności posiadania rozległych zasobów obliczeniowych.
Po zakończeniu szkolenia uczestnicy będą w stanie:
- Zrozumieć zasady Adaptacji Niskiego Rzędu (LoRA).
- Zaimplementować LoRA do efektywnego dostrajania dużych modeli.
- Optymalizować dostrajanie w środowiskach o ograniczonych zasobach.
- Ocenić i wdrożyć modele dostrojone za pomocą LoRA do praktycznych zastosowań.
Dostrajanie Modeli Wielomodalnych
28 godzinTo szkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu) jest skierowane do profesjonalistów na zaawansowanym poziomie, którzy chcą opanować dostrajanie modeli wielomodalnych w celu tworzenia innowacyjnych rozwiązań AI.
Pod koniec szkolenia uczestnicy będą w stanie:
- Zrozumieć architekturę modeli wielomodalnych, takich jak CLIP i Flamingo.
- Skutecznie przygotowywać i przetwarzać zestawy danych wielomodalnych.
- Dostrajać modele wielomodalne do określonych zadań.
- Optymalizować modele pod kątem zastosowań w świecie rzeczywistym i wydajności.
Dostrajanie modeli w Przetwarzaniu Języka Naturalnego (NLP)
21 godzinTo szkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu) jest skierowane do profesjonalistów na poziomie średniozaawansowanym, którzy chcą poprawić swoje projekty NLP poprzez efektywne dostrajanie wstępnie wytrenowanych modeli językowych.
Pod koniec szkolenia uczestnicy będą mogli:
- Zrozumieć podstawy dostrajania modeli do zadań NLP.
- Dostroić wstępnie wytrenowane modele, takie jak GPT, BERT i T5, do konkretnych zastosowań NLP.
- Optymalizować hiperparametry w celu poprawy wydajności modelu.
- Ocenić i wdrożyć dostrojone modele w rzeczywistych scenariuszach.
Dostosowywanie sztucznej inteligencji do usług finansowych: prognozowanie ryzyka i wykrywanie oszustw
14 godzinTo szkolenie prowadzone przez instruktora (online lub na miejscu) jest skierowane do zaawansowanych data scientistów i inżynierów AI w sektorze finansowym, którzy chcą dostosować modele do zastosowań takich jak ocena kredytowa, wykrywanie oszustw i modelowanie ryzyka przy użyciu domenowych danych finansowych.
Na koniec tego szkolenia uczestnicy będą w stanie:
- Dostosować modele AI do zestawów danych finansowych dla lepszego wykrywania oszustw i prognozowania ryzyka.
- Zastosować techniki takie jak transfer learning, LoRA i regularyzacja w celu zwiększenia efektywności modeli.
- Integracja rozważań dotyczących zgodności finansowej do procesu tworzenia modeli AI.
- Wdrożyć dostosowane modele do użytku produkcyjnego w platformach usług finansowych.
Dostrajanie AI w opiece zdrowotnej: Diagnostyka medyczna i analiza predykcyjna
14 godzinTo szkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu) jest skierowane do średnio zaawansowanych i zaawansowanych programistów AI w medycynie oraz naukowców zajmujących się danymi, którzy chcą dostroić modele do diagnozowania klinicznego, przewidywania chorób i prognozowania wyników pacjentów przy użyciu ustrukturyzowanych i nieustrukturyzowanych danych medycznych.
Po zakończeniu szkolenia uczestnicy będą mogli:
- Dostrajać modele AI na zbiorach danych z zakresu opieki zdrowotnej, w tym EMR, obrazowania i danych szeregów czasowych.
- Stosować transfer uczenia, adaptację dziedzinową i kompresję modeli w kontekstach medycznych.
- Zajmować się kwestiami prywatności, uprzedzeń i zgodności z przepisami w rozwoju modeli.
- Wdrażać i monitorować dostrojone modele w rzeczywistych środowiskach opieki zdrowotnej.
Dostrajanie DeepSeek LLM do niestandardowych modeli AI
21 godzinTo szkolenie prowadzone przez instruktora na żywo w Polsce (online lub na miejscu) jest skierowane do zaawansowanych badaczy AI, inżynierów uczenia maszynowego oraz programistów, którzy chcą dostroić modele DeepSeek LLM, aby tworzyć wyspecjalizowane aplikacje AI dostosowane do konkretnych branż, dziedzin lub potrzeb biznesowych.
Po zakończeniu szkolenia uczestnicy będą mogli:
- Zrozumieć architekturę i możliwości modeli DeepSeek, w tym DeepSeek-R1 i DeepSeek-V3.
- Przygotować zbiory danych i przetworzyć dane do dostrajania.
- Dostroić DeepSeek LLM do aplikacji specyficznych dla danej dziedziny.
- Zoptymalizować i wdrożyć dostrojone modele w efektywny sposób.
Dostrajanie sztucznej inteligencji w systemach autonomicznych i monitoringu
14 godzinTo szkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu) jest skierowane do zaawansowanych inżynierów AI w dziedzinie obronności oraz developerów technologii wojskowych, którzy chcą dostroić modele głębokiego uczenia do wykorzystania w pojazdach autonomicznych, dronach i systemach monitorowania, spełniając przy tym surowe standardy bezpieczeństwa i niezawodności.
Pod koniec szkolenia uczestnicy będą mogli:
- Dostrajać modele wizji komputerowej i fuzji czujników do zadań monitorowania i namierzania.
- Adaptować autonomiczne systemy AI do zmieniających się środowisk i profili misji.
- Implementować mechanizmy walidacji i zabezpieczeń awaryjnych w potokach modeli.
- Zapewniać zgodność z normami bezpieczeństwa, ochrony i zgodności specyficznymi dla obronności.
Dostrajanie modeli AI w prawie: przegląd umów i badania prawne
14 godzinTo szkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu) jest skierowane do inżynierów technologii prawniczych i programistów AI na poziomie średniozaawansowanym, którzy chcą dostroić modele językowe do zadań takich jak analiza umów, ekstrakcja klauzul i zautomatyzowane badania prawne w środowiskach usług prawnych.
Pod koniec szkolenia uczestnicy będą mogli:
- Przygotować i oczyścić dokumenty prawne do dostrajania modeli NLP.
- Stosować strategie dostrajania w celu poprawy dokładności modeli w zadaniach prawnych.
- Wdrażać modele do wspomagania przeglądu, klasyfikacji i badań umów.
- Zapewnić zgodność, możliwość audytu i śledzenia wyników AI w kontekstach prawnych.
Dostrajanie dużych modeli językowych przy użyciu QLoRA
14 godzinSzkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu) skierowane jest do inżynierów uczenia maszynowego, programistów AI i naukowców zajmujących się danymi na poziomie średniozaawansowanym i zaawansowanym, którzy chcą nauczyć się, jak używać QLoRA do efektywnego dostrajania dużych modeli pod kątem konkretnych zadań i dostosowań.
Po zakończeniu szkolenia uczestnicy będą w stanie:
- Zrozumieć teorię stojącą za QLoRA i technikami kwantyzacji dla LLM.
- Zaimplementować QLoRA w dostrajaniu dużych modeli językowych dla aplikacji specyficznych dla domeny.
- Optymalizować wydajność dostrajania przy ograniczonych zasobach obliczeniowych przy użyciu kwantyzacji.
- Efektywnie wdrażać i oceniać dostrojone modele w rzeczywistych aplikacjach.