Plan Szkolenia

Wprowadzenie do Modeli Wielomodalnych

  • Przegląd uczenia maszynowego wielomodalnego
  • Zastosowania modeli wielomodalnych
  • Wyzwania w zarządzaniu wieloma typami danych

Architektury dla Modeli Wielomodalnych

  • Eksploracja modeli takich jak CLIP, Flamingo i BLIP
  • Zrozumienie mechanizmów uwagi między modalnościami
  • Rozważania architektoniczne dotyczące skalowalności i wydajności

Przygotowywanie Zestawów Danych Wielomodalnych

  • Techniki zbierania i adnotacji danych
  • Przetwarzanie wstępne tekstu, obrazów i filmów
  • Równoważenie zestawów danych dla zadań wielomodalnych

Techniki Dostrajania Modeli Wielomodalnych

  • Konfigurowanie potoków treningowych dla modeli wielomodalnych
  • Zarządzanie ograniczeniami pamięci i obliczeniowymi
  • Zarządzanie zgodnością między modalnościami

Zastosowania Dostrojonych Modeli Wielomodalnych

  • Odpowiadanie na pytania wizualne
  • Generowanie opisów do obrazów i filmów
  • Generowanie treści przy użyciu danych wielomodalnych

Optymalizacja i Ocena Wydajności

  • Metryki oceny dla zadań wielomodalnych
  • Optymalizacja opóźnienia i przepustowości dla produkcji
  • Zapewnienie niezawodności i spójności między modalnościami

Wdrażanie Modeli Wielomodalnych

  • Pakowanie modeli do wdrożenia
  • Skalowalne wnioskowanie na platformach chmurowych
  • Zastosowania w czasie rzeczywistym i integracje

Studia Przypadków i Praktyczne Warsztaty

  • Dostrajanie CLIP do wyszukiwania obrazów na podstawie treści
  • Trenowanie wielomodalnego czatu z tekstem i filmem
  • Implementacja systemów wyszukiwania między modalnościami

Podsumowanie i Kolejne Kroki

Wymagania

  • Biegłość w programowaniu w Pythonie
  • Zrozumienie koncepcji uczenia głębokiego
  • Doświadczenie w dostrajaniu wstępnie wytrenowanych modeli

Grupa docelowa

  • Badacze AI
  • Naukowcy zajmujący się danymi
  • Praktycy uczenia maszynowego
 28 godzin

Liczba uczestników


Cena za uczestnika

Propozycje terminów

Powiązane Kategorie