Plan Szkolenia
Wprowadzenie
Przegląd funkcji i architektury Spark Streaming
- Obsługiwane źródła danych
- Podstawowe interfejsy API
Przygotowanie środowiska
- Zależności
- Spark i kontekst przesyłania strumieniowego
- Łączenie się z Kafką
Przetwarzanie wiadomości
- Parsowanie wiadomości przychodzących jako JSON
- Procesy ETL
- Uruchamianie kontekstu przesyłania strumieniowego
Wykonywanie Windowed Stream Processing
- Interwał slajdów
- Konfiguracja dostarczania punktów kontrolnych
- Uruchamianie środowiska
Prototypowanie kodu przetwarzania
- Łączenie się z tematem Kafka
- Pobieranie JSON ze źródła danych przy użyciu Paw
- Warianty i dodatkowe przetwarzanie
Przesyłanie strumieniowe kodu
- Zmienne kontroli zadań
- Definiowanie wartości do dopasowania
- Funkcje i warunki
Pozyskiwanie strumienia wyjściowego
- Liczniki
- Dane wyjściowe Kafka (dopasowane i niedopasowane)
Rozwiązywanie problemów
Podsumowanie i wnioski
Wymagania
- Doświadczenie z Python i Apache Kafka
- Znajomość platform przetwarzania strumieniowego
Publiczność
- Inżynierowie danych
- Naukowcy danych
- Programiści
Opinie uczestników (5)
The fact of having more practical exercises using more similar data to what we use in our projects (satellite images in raster format)
Matthieu - CS Group
Szkolenie - Scaling Data Analysis with Python and Dask
Przekazanie wiedzy praktycznej oraz doświadczeń trenera.
Rumel Mateusz - Pojazdy Szynowe PESA Bydgoszcz SA
Very good preparation and expertise of a trainer, perfect communication in English. The course was practical (exercises + sharing examples of use cases)
Monika - Procter & Gamble Polska Sp. z o.o.
Szkolenie - Developing APIs with Python and FastAPI
It was a though course as we had to cover a lot in a short time frame. Our trainer knew a lot about the subject and delivered the content to address our requirements. It was lots of content to learn but our trainer was helpful and encouraging. He answered all our questions with good detail and we feel that we learned a lot. Exercises were well prepared and tasks were tailored accordingly to our needs. I enjoyed this course
Bozena Stansfield - New College Durham
Szkolenie - Build REST APIs with Python and Flask
Trainer develops training based on participant's pace