Building Kafka Solutions with Confluent - Plan Szkolenia

Format kursu

• Interaktywny wykład i dyskusja.
• Wiele ćwiczeń i praktyki.
• Praktyczne wdrożenie w środowisku laboratoryjnym na żywo.

Opcje dostosowywania kursu

• Aby poprosić o spersonalizowane szkolenie dla tego kursu, skontaktuj się z nami.

Apache Beam to otwarty, zunifikowany model programowania do definiowania i wykonywania równoległych potoków przetwarzania danych. Jego moc polega na możliwości uruchamiania zarówno potoków wsadowych, jak i strumieniowych, przy czym wykonanie jest przeprowadzane przez jeden z obsługiwanych przez Beam back-endów przetwarzania rozproszonego: Apache Apex, Apache Flink, Apache Spark i Google Cloud Dataflow. Rozwiązanie Apache Beam jest przydatne w zadaniach ETL (Extract, Transform, and Load), takich jak przenoszenie danych między różnymi nośnikami pamięci i źródłami danych, przekształcanie danych w bardziej pożądany format i ładowanie danych do nowego systemu.

W tym prowadzonym przez instruktora szkoleniu na żywo (na miejscu lub zdalnie) uczestnicy dowiedzą się, jak zaimplementować Apache Beam SDK w aplikacji Java lub Python, która definiuje potok przetwarzania danych w celu dekompozycji dużego zbioru danych na mniejsze fragmenty w celu niezależnego, równoległego przetwarzania.

Pod koniec tego szkolenia uczestnicy będą mogli

• Zainstalować i skonfigurować Apache Beam.
• Używać pojedynczego modelu programowania do przeprowadzania zarówno przetwarzania wsadowego, jak i strumieniowego z poziomu aplikacji Java lub Python.
• Wykonywać potoki w wielu środowiskach.

Format kursu

• Wykład częściowy, dyskusja częściowa, ćwiczenia i ciężka praktyka praktyczna

Uwaga

• Ten kurs będzie dostępny Scala w przyszłości. Prosimy o kontakt w celu ustalenia szczegółów.

Apache Kafka to rozproszona platforma streamingowa. Jest de facto standardem w budowaniu potoków danych i rozwiązuje wiele różnych przypadków użycia związanych z przetwarzaniem danych: może być używana jako kolejka komunikatów, rozproszony dziennik, procesor strumieniowy itp.

Zaczniemy od ogólnej teorii dotyczącej potoków danych, a następnie przejdziemy do podstawowych koncepcji Kafki. Odkryjemy również ważne komponenty, takie jak Kafka Streams i Kafka Connect.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) wprowadza zasady i podejścia stojące za rozproszonym przetwarzaniem danych strumieniowych i wsadowych oraz prowadzi uczestników przez proces tworzenia aplikacji do strumieniowego przesyłania danych w czasie rzeczywistym w Apache Flink.

Pod koniec tego szkolenia uczestnicy będą w stanie

• Skonfigurować środowisko do tworzenia aplikacji do analizy danych.
• Zrozumieć, jak działa biblioteka przetwarzania grafów Apache Flink (Gelly).
• Pakować, wykonywać i monitorować oparte na Flink, odporne na błędy aplikacje do strumieniowego przesyłania danych.
• Zarządzanie różnorodnymi obciążeniami.
• Wykonywanie zaawansowanych analiz.
• Konfigurowanie wielowęzłowego klastra Flink.
• Mierzyć i optymalizować wydajność.
• Integracja Flink z różnymi Big Data systemami.
• Porównywanie możliwości Flink z możliwościami innych platform przetwarzania dużych zbiorów danych.

W tym instruktażowym szkoleniu na żywo w Polsce (na miejscu lub zdalnie) uczestnicy dowiedzą się, jak skonfigurować i zintegrować różne Stream Processing frameworki z istniejącymi systemami przechowywania dużych zbiorów danych oraz powiązanymi aplikacjami i mikrousługami.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalowanie i konfigurowanie różnych Stream Processing frameworków, takich jak Spark Streaming i Kafka Streaming.
• Zrozumieć i wybrać najbardziej odpowiedni framework dla danego zadania.
• Przetwarzanie danych w sposób ciągły, współbieżny i rekord po rekordzie.
• Integracja Stream Processing rozwiązań z istniejącymi bazami danych, hurtowniami danych, jeziorami danych itp.
• Integracja najbardziej odpowiedniej biblioteki przetwarzania strumieniowego z aplikacjami korporacyjnymi i mikrousługami.

Ten kurs jest przeznaczony dla architektów korporacyjnych, programistów, administratorów systemów i każdego, kto chce zrozumieć i korzystać z wysokowydajnego rozproszonego systemu przesyłania wiadomości. Jeśli masz bardziej specyficzne wymagania (np. tylko strona administracji systemu), ten kurs może być dostosowany do Twoich potrzeb.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla inżynierów danych, naukowców zajmujących się danymi i programistów, którzy chcą korzystać z funkcji Apache Kafka w strumieniowym przesyłaniu danych z Python.

Pod koniec tego szkolenia uczestnicy będą mogli używać Apache Kafka do monitorowania i zarządzania warunkami w ciągłych strumieniach danych przy użyciu Python programowania.

Kafka Streams jest biblioteką po stronie klienta do tworzenia aplikacji i mikrousług, których dane są przekazywane do i z systemu przesyłania wiadomości Kafka. Tradycyjnie polegało się na Apache Kafka lub Apache Spark lub Apache Storm do przetwarzania danych między producentami i odbiorcami wiadomości. Wywołując API Kafka Streams z poziomu aplikacji, dane mogą być przetwarzane bezpośrednio w Kafce, z pominięciem konieczności wysyłania danych do oddzielnego klastra w celu ich przetworzenia.

W tym prowadzonym przez instruktora szkoleniu na żywo uczestnicy dowiedzą się, jak zintegrować Kafka Streams z zestawem przykładowych Java aplikacji, które przekazują dane do i z Apache Kafka w celu przetwarzania strumieniowego.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Rozumieć funkcje i zalety Kafka Streams w porównaniu z innymi ramami przetwarzania strumieniowego
• Przetwarzać dane strumieniowe bezpośrednio w ramach klastru Kafka
• Napisać aplikację lub mikrousługę Java lub Scala, która integruje się z Kafka i Kafka Streams
• Napisać zwięzły kod, który przekształca tematy wejściowe Kafka w tematy wyjściowe Kafka
• Budować, pakować i wdrażać aplikację

Uczestnicy

• Developers

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i intensywne praktyczne ćwiczenia

Uwagi

• Aby poprosić o spersonalizowane szkolenie dla tego kursu, proszę skontaktować się z nami w celu ustalenia szczegółów

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla programistów, którzy chcą wdrożyć przetwarzanie strumieniowe Apache Kafka bez pisania kodu.

Pod koniec tego szkolenia uczestnicy będą mogli

• Zainstalować i skonfigurować Confluent KSQL.
• Skonfigurować potok przetwarzania strumieniowego przy użyciu tylko SQL poleceń (bez kodowania Java lub Python).
• Przeprowadzać filtrowanie danych, transformacje, agregacje, łączenia, okienkowanie i sesjonowanie w całości w SQL.
• Projektowanie i wdrażanie interaktywnych, ciągłych zapytań dla strumieniowego ETL i analiz w czasie rzeczywistym.

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce (na miejscu lub zdalnie) uczestnicy dowiedzą się, jak wdrożyć i zarządzać Apache NiFi w środowisku laboratoryjnym na żywo.

Pod koniec tego szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować Apachi NiFi.
• Pozyskiwać, przekształcać i zarządzać danymi z różnych, rozproszonych źródeł danych, w tym baz danych i dużych jezior danych.
• Automatyzować przepływy danych.
• Włączać analitykę strumieniową.
• Stosowanie różnych podejść do pozyskiwania danych.
• Przekształcanie danych Big Data w informacje biznesowe.

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce uczestnicy poznają podstawy programowania opartego na przepływie, opracowując szereg rozszerzeń demonstracyjnych, komponentów i procesorów przy użyciu Apache NiFi.

Pod koniec tego szkolenia uczestnicy będą mogli:

• Zrozumieć architekturę NiFi i koncepcje przepływu danych.
• Rozwijać rozszerzenia przy użyciu NiFi i interfejsów API innych firm.
• Rozwijać własny procesor Apache Nifi.
• Pozyskiwać i przetwarzać dane w czasie rzeczywistym z różnych i nietypowych formatów plików i źródeł danych.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla inżynierów danych, naukowców zajmujących się danymi i programistów, którzy chcą korzystać z funkcji Spark Streaming w przetwarzaniu i analizowaniu danych w czasie rzeczywistym.

Pod koniec tego szkolenia uczestnicy będą mogli używać Spark Streaming do przetwarzania strumieni danych na żywo do użytku w bazach danych, systemach plików i pulpitach nawigacyjnych na żywo.

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla programistów, którzy chcą przekształcić tradycyjną architekturę w wysoce współbieżną architekturę opartą na mikrousługach przy użyciu Spring Cloud, Kafka, Docker, Kubernetes i Redis.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Ustawienie niezbędnego środowiska programistycznego do budowania mikrousług.
• Zaprojektowanie i wdrożenie wysoce współbieżnego ekosystemu mikrousług przy użyciu Spring Cloud, Kafka, Redis, Docker i Kubernetes.
• Transformacja usług monolitycznych i SOA do architektury opartej na mikrousługach.
• Zastosowanie podejścia DevOps do tworzenia, testowania i wydawania oprogramowania.
• Zapewnienie wysokiej współbieżności między mikrousługami w produkcji.
• Monitorowanie mikrousług i wdrażanie strategii odzyskiwania.
• Przeprowadzanie strojenia wydajności.
• Poznanie przyszłych trendów w architekturze mikrousług.