Apache Kafka for Python Programmers - Plan Szkolenia

Format kursu

• Interaktywny wykład i dyskusja.
• Wiele ćwiczeń i praktyki.
• Praktyczne wdrożenie w środowisku laboratoryjnym na żywo.

Opcje dostosowywania kursu

• Aby poprosić o spersonalizowane szkolenie dla tego kursu, skontaktuj się z nami.

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla programistów, którzy chcą zintegrować Apache Kafka z istniejącymi bazami danych i aplikacjami do przetwarzania, analizy itp.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Używać Kafka Connect do importowania dużych ilości danych z bazy danych do tematów Kafka.
• Importować dane logów generowane przez serwery aplikacji do tematów Kafka.
• Make zbierane dane dostępne do przetwarzania strumieniowego.
• Eksportować dane z tematów Kafka do wtórnych systemów do przechowywania i analizy.

Apache Beam to otwarty, zunifikowany model programowania do definiowania i wykonywania równoległych potoków przetwarzania danych. Jego moc polega na możliwości uruchamiania zarówno potoków wsadowych, jak i strumieniowych, przy czym wykonanie jest przeprowadzane przez jeden z obsługiwanych przez Beam back-endów przetwarzania rozproszonego: Apache Apex, Apache Flink, Apache Spark i Google Cloud Dataflow. Rozwiązanie Apache Beam jest przydatne w zadaniach ETL (Extract, Transform, and Load), takich jak przenoszenie danych między różnymi nośnikami pamięci i źródłami danych, przekształcanie danych w bardziej pożądany format i ładowanie danych do nowego systemu.

W tym prowadzonym przez instruktora szkoleniu na żywo (na miejscu lub zdalnie) uczestnicy dowiedzą się, jak zaimplementować Apache Beam SDK w aplikacji Java lub Python, która definiuje potok przetwarzania danych w celu dekompozycji dużego zbioru danych na mniejsze fragmenty w celu niezależnego, równoległego przetwarzania.

Pod koniec tego szkolenia uczestnicy będą mogli

• Zainstalować i skonfigurować Apache Beam.
• Używać pojedynczego modelu programowania do przeprowadzania zarówno przetwarzania wsadowego, jak i strumieniowego z poziomu aplikacji Java lub Python.
• Wykonywać potoki w wielu środowiskach.

Format kursu

• Wykład częściowy, dyskusja częściowa, ćwiczenia i ciężka praktyka praktyczna

Uwaga

• Ten kurs będzie dostępny Scala w przyszłości. Prosimy o kontakt w celu ustalenia szczegółów.

To prowadzone przez instruktora szkolenie na żywo (w trybie online lub na miejscu) jest przeznaczone dla inżynierów, którzy chcą korzystać z Confluent (dystrybucji Kafka) do budowania i zarządzania platformą przetwarzania danych w czasie rzeczywistym dla swoich aplikacji.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalować i konfigurować platformę Confluent.
• Korzystać z narzędzi i usług zarządzania Confluent do łatwiejszego uruchamiania Kafka.
• Przechowywać i przetwarzać nadchodzące dane strumieniowe.
• Optymalizować i zarządzać klasterami Kafka.
• Zabezpieczać strumienie danych.

Format kursu

• Interaktywne wykłady i dyskusje.
• Wiele ćwiczeń i praktyki.
• Przykładowa implementacja w środowisku live-lab.

Opcje dostosowywania kursu

• Ten kurs oparty jest na wersji open source Confluent: Confluent Open Source.
• Aby poprosić o dostosowane szkolenie dla tego kursu, skontaktuj się z nami w celu umówienia.

Apache Kafka to rozproszona platforma streamingowa. Jest de facto standardem w budowaniu potoków danych i rozwiązuje wiele różnych przypadków użycia związanych z przetwarzaniem danych: może być używana jako kolejka komunikatów, rozproszony dziennik, procesor strumieniowy itp.

Zaczniemy od ogólnej teorii dotyczącej potoków danych, a następnie przejdziemy do podstawowych koncepcji Kafki. Odkryjemy również ważne komponenty, takie jak Kafka Streams i Kafka Connect.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) wprowadza zasady i podejścia stojące za rozproszonym przetwarzaniem danych strumieniowych i wsadowych oraz prowadzi uczestników przez proces tworzenia aplikacji do strumieniowego przesyłania danych w czasie rzeczywistym w Apache Flink.

Pod koniec tego szkolenia uczestnicy będą w stanie

• Skonfigurować środowisko do tworzenia aplikacji do analizy danych.
• Zrozumieć, jak działa biblioteka przetwarzania grafów Apache Flink (Gelly).
• Pakować, wykonywać i monitorować oparte na Flink, odporne na błędy aplikacje do strumieniowego przesyłania danych.
• Zarządzanie różnorodnymi obciążeniami.
• Wykonywanie zaawansowanych analiz.
• Konfigurowanie wielowęzłowego klastra Flink.
• Mierzyć i optymalizować wydajność.
• Integracja Flink z różnymi Big Data systemami.
• Porównywanie możliwości Flink z możliwościami innych platform przetwarzania dużych zbiorów danych.

W tym instruktażowym szkoleniu na żywo w Polsce (na miejscu lub zdalnie) uczestnicy dowiedzą się, jak skonfigurować i zintegrować różne Stream Processing frameworki z istniejącymi systemami przechowywania dużych zbiorów danych oraz powiązanymi aplikacjami i mikrousługami.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalowanie i konfigurowanie różnych Stream Processing frameworków, takich jak Spark Streaming i Kafka Streaming.
• Zrozumieć i wybrać najbardziej odpowiedni framework dla danego zadania.
• Przetwarzanie danych w sposób ciągły, współbieżny i rekord po rekordzie.
• Integracja Stream Processing rozwiązań z istniejącymi bazami danych, hurtowniami danych, jeziorami danych itp.
• Integracja najbardziej odpowiedniej biblioteki przetwarzania strumieniowego z aplikacjami korporacyjnymi i mikrousługami.

Ten kurs jest przeznaczony dla architektów korporacyjnych, programistów, administratorów systemów i każdego, kto chce zrozumieć i korzystać z wysokowydajnego rozproszonego systemu przesyłania wiadomości. Jeśli masz bardziej specyficzne wymagania (np. tylko strona administracji systemu), ten kurs może być dostosowany do Twoich potrzeb.

Kafka Streams jest biblioteką po stronie klienta do tworzenia aplikacji i mikrousług, których dane są przekazywane do i z systemu przesyłania wiadomości Kafka. Tradycyjnie polegało się na Apache Kafka lub Apache Spark lub Apache Storm do przetwarzania danych między producentami i odbiorcami wiadomości. Wywołując API Kafka Streams z poziomu aplikacji, dane mogą być przetwarzane bezpośrednio w Kafce, z pominięciem konieczności wysyłania danych do oddzielnego klastra w celu ich przetworzenia.

W tym prowadzonym przez instruktora szkoleniu na żywo uczestnicy dowiedzą się, jak zintegrować Kafka Streams z zestawem przykładowych Java aplikacji, które przekazują dane do i z Apache Kafka w celu przetwarzania strumieniowego.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Rozumieć funkcje i zalety Kafka Streams w porównaniu z innymi ramami przetwarzania strumieniowego
• Przetwarzać dane strumieniowe bezpośrednio w ramach klastru Kafka
• Napisać aplikację lub mikrousługę Java lub Scala, która integruje się z Kafka i Kafka Streams
• Napisać zwięzły kod, który przekształca tematy wejściowe Kafka w tematy wyjściowe Kafka
• Budować, pakować i wdrażać aplikację

Uczestnicy

• Developers

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i intensywne praktyczne ćwiczenia

Uwagi

• Aby poprosić o spersonalizowane szkolenie dla tego kursu, proszę skontaktować się z nami w celu ustalenia szczegółów

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla programistów, którzy chcą wdrożyć przetwarzanie strumieniowe Apache Kafka bez pisania kodu.

Pod koniec tego szkolenia uczestnicy będą mogli

• Zainstalować i skonfigurować Confluent KSQL.
• Skonfigurować potok przetwarzania strumieniowego przy użyciu tylko SQL poleceń (bez kodowania Java lub Python).
• Przeprowadzać filtrowanie danych, transformacje, agregacje, łączenia, okienkowanie i sesjonowanie w całości w SQL.
• Projektowanie i wdrażanie interaktywnych, ciągłych zapytań dla strumieniowego ETL i analiz w czasie rzeczywistym.

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce (na miejscu lub zdalnie) uczestnicy dowiedzą się, jak wdrożyć i zarządzać Apache NiFi w środowisku laboratoryjnym na żywo.

Pod koniec tego szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować Apachi NiFi.
• Pozyskiwać, przekształcać i zarządzać danymi z różnych, rozproszonych źródeł danych, w tym baz danych i dużych jezior danych.
• Automatyzować przepływy danych.
• Włączać analitykę strumieniową.
• Stosowanie różnych podejść do pozyskiwania danych.
• Przekształcanie danych Big Data w informacje biznesowe.

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce uczestnicy poznają podstawy programowania opartego na przepływie, opracowując szereg rozszerzeń demonstracyjnych, komponentów i procesorów przy użyciu Apache NiFi.

Pod koniec tego szkolenia uczestnicy będą mogli:

• Zrozumieć architekturę NiFi i koncepcje przepływu danych.
• Rozwijać rozszerzenia przy użyciu NiFi i interfejsów API innych firm.
• Rozwijać własny procesor Apache Nifi.
• Pozyskiwać i przetwarzać dane w czasie rzeczywistym z różnych i nietypowych formatów plików i źródeł danych.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla inżynierów danych, naukowców zajmujących się danymi i programistów, którzy chcą korzystać z funkcji Spark Streaming w przetwarzaniu i analizowaniu danych w czasie rzeczywistym.

Pod koniec tego szkolenia uczestnicy będą mogli używać Spark Streaming do przetwarzania strumieni danych na żywo do użytku w bazach danych, systemach plików i pulpitach nawigacyjnych na żywo.