Plan Szkolenia

Wprowadzenie

Przegląd funkcji i architektury Spark Streaming

  • Obsługiwane źródła danych
  • Podstawowe interfejsy API

Przygotowanie środowiska

  • Zależności
  • Spark i kontekst przesyłania strumieniowego
  • Łączenie się z Kafką

Przetwarzanie wiadomości

  • Parsowanie wiadomości przychodzących jako JSON
  • Procesy ETL
  • Uruchamianie kontekstu przesyłania strumieniowego

Wykonywanie Windowed Stream Processing

  • Interwał slajdów
  • Konfiguracja dostarczania punktów kontrolnych
  • Uruchamianie środowiska

Prototypowanie kodu przetwarzania

  • Łączenie się z tematem Kafka
  • Pobieranie JSON ze źródła danych przy użyciu Paw
  • Warianty i dodatkowe przetwarzanie

Przesyłanie strumieniowe kodu

  • Zmienne kontroli zadań
  • Definiowanie wartości do dopasowania
  • Funkcje i warunki

Pozyskiwanie strumienia wyjściowego

  • Liczniki
  • Dane wyjściowe Kafka (dopasowane i niedopasowane)

Rozwiązywanie problemów

Podsumowanie i wnioski

Wymagania

  • Doświadczenie z Python i Apache Kafka
  • Znajomość platform przetwarzania strumieniowego

Publiczność

  • Inżynierowie danych
  • Naukowcy danych
  • Programiści
 7 godzin

Liczba uczestników


Cena za uczestnika (netto)

Opinie uczestników (5)

Nadchodzące szkolenia

Powiązane Kategorie