Bądźmy w kontakcie

Plan Szkolenia

Wprowadzenie do modeli wielomodalnych

  • Przegląd uczenia maszynowego wielomodalnego
  • Zastosowania modeli wielomodalnych
  • Wyzwania związane z obsługą wielu typów danych

Architektury modeli wielomodalnych

  • Poznanie modeli takich jak CLIP, Flamingo i BLIP
  • Zrozumienie mechanizmów uwagi między modalnościami
  • Rozważania architektoniczne dotyczące skalowalności i wydajności

Przygotowywanie zbiorów danych wielomodalnych

  • Techniki zbierania i adnotacji danych
  • Przetwarzanie wstępne tekstu, obrazów i materiałów wideo
  • Równoważenie zbiorów danych dla zadań wielomodalnych

Techniki dostrajania modeli wielomodalnych

  • Konfigurowanie potoków treningowych dla modeli wielomodalnych
  • Zarządzanie ograniczeniami pamięciowymi i obliczeniowymi
  • Obsługa wyrównania między modalnościami

Zastosowania dostrojonych modeli wielomodalnych

  • Odpowiadanie na pytania wizualne
  • Tworzenie podpisów do obrazów i filmów
  • Generowanie treści przy użyciu danych wielomodalnych

Optymalizacja i ocena wydajności

  • Metryki oceny dla zadań wielomodalnych
  • Optymalizacja opóźnienia i przepustowości dla produkcji
  • Zapewnianie odporności i spójności między modalnościami

Wdrażanie modeli wielomodalnych

  • Pakowanie modeli do wdrożenia
  • Skalowalne wnioskowanie na platformach chmurowych
  • Zastosowania w czasie rzeczywistym i integracje

Studia przypadków i praktyczne laboratoria

  • Dostrajanie CLIP do wyszukiwania obrazów na podstawie treści
  • Trenowanie wielomodalnego czatu z tekstem i wideo
  • Implementacja systemów wyszukiwania między modalnościami

Podsumowanie i kolejne kroki

Wymagania

  • Znajomość programowania w Pythonie
  • Zrozumienie pojęć związanych z uczeniem głębokim
  • Doświadczenie w dostrajaniu wstępnie wytrenowanych modeli

Grupa docelowa

  • Badacze AI
  • Naukowcy zajmujący się danymi
  • Praktycy uczenia maszynowego
 28 godzin

Liczba uczestników


Cena za uczestnika (netto)

Propozycje terminów

Powiązane Kategorie