Przetwarzanie strumieniowe z Kafka Streams - Plan Szkolenia
Kafka Streams to biblioteka po stronie klienta służąca do tworzenia aplikacji i mikrousług, których dane są przesyłane do i z systemu przesyłania wiadomości Kafka. Tradycyjnie Apache Kafka opierała się na Apache Spark lub Apache Storm do przetwarzania danych między producentami a konsumentami wiadomości. Dzięki wywoływaniu API Kafka Streams z poziomu aplikacji, dane mogą być przetwarzane bezpośrednio w Kafka, omijając konieczność wysyłania danych do oddzielnego klastra w celu przetworzenia.
W tym szkoleniu prowadzonym przez instruktora, uczestnicy nauczą się, jak zintegrować Kafka Streams z zestawem przykładowych aplikacji Java, które przesyłają dane do i z Apache Kafka w celu przetwarzania strumieniowego.
Pod koniec szkolenia uczestnicy będą mogli:
- Zrozumieć funkcje i zalety Kafka Streams w porównaniu z innymi frameworkami do przetwarzania strumieniowego
- Przetwarzać dane strumieniowe bezpośrednio w klastrze Kafka
- Napisać aplikację lub mikrousługę w Java lub Scala, która integruje się z Kafka i Kafka Streams
- Napisać zwięzły kod, który przekształca tematy wejściowe Kafka w tematy wyjściowe Kafka
- Zbudować, spakować i wdrożyć aplikację
Grupa docelowa
- Deweloperzy
Format kursu
- Część wykładowa, część dyskusyjna, ćwiczenia i intensywna praktyka
Uwagi
- Aby zamówić dostosowane szkolenie z tego kursu, prosimy o kontakt w celu ustalenia szczegółów
Plan Szkolenia
Wprowadzenie
- Porównanie Kafka z Spark, Flink i Storm
Przegląd funkcji Kafka Streams
- Przetwarzanie stanowe i bezstanowe, przetwarzanie w czasie rzeczywistym, DSL, operacje okienkowe oparte na czasie zdarzeń itp.
Studium przypadku: API Kafka Streams do prognozowania budżetowego
Konfiguracja środowiska deweloperskiego
Tworzenie aplikacji strumieniowej
Uruchamianie klastra Kafka
Przygotowanie tematów i danych wejściowych
Opcje przetwarzania danych strumieniowych
- Wysokopoziomowy Kafka Streams DSL
- Niższopoziomowy Processor
Przekształcanie danych wejściowych
Sprawdzanie danych wyjściowych
Zatrzymywanie klastra Kafka
Opcje wdrażania aplikacji
- Klasyczne narzędzia ops (Puppet, Chef i Salt)
- Docker
- Plik WAR
Rozwiązywanie problemów
Podsumowanie i zakończenie
Wymagania
- Zrozumienie Apache Kafka
- Doświadczenie w programowaniu w Java
Szkolenia otwarte są realizowane w przypadku uzbierania się grupy szkoleniowej liczącej co najmniej 5 osób na dany termin.
Przetwarzanie strumieniowe z Kafka Streams - Plan Szkolenia - Rezerwacja
Przetwarzanie strumieniowe z Kafka Streams - Plan Szkolenia - Zapytanie
Przetwarzanie strumieniowe z Kafka Streams - Zapytanie o Konsultacje
Opinie uczestników (1)
Przypominanie/powtórzenie kluczowych punktów omawianych tematów.
Paolo Angelo Gaton - SMS Global Technologies Inc.
Szkolenie - Building Stream Processing Applications with Kafka Streams
Przetłumaczone przez sztuczną inteligencję
Propozycje terminów
Szkolenia Powiązane
Administracja Confluent Apache Kafka
21 godzinConfluent Apache Kafka to rozproszona platforma do przesyłania strumieniowego zdarzeń, zaprojektowana do obsługi wysokoprzepustowych, odpornych na awarie potoków danych oraz analizy w czasie rzeczywistym.
To szkolenie prowadzone przez instruktora, na żywo (online lub na miejscu) jest skierowane do średniozaawansowanych administratorów systemów i profesjonalistów DevOps, którzy chcą instalować, konfigurować, monitorować i rozwiązywać problemy z klastrami Confluent Apache Kafka.
Po zakończeniu szkolenia uczestnicy będą mogli:
- Zrozumieć komponenty i architekturę Confluent Kafka.
- Wdrażać i zarządzać brokerami Kafka, kworum Zookeeper oraz kluczowymi usługami.
- Konfigurować zaawansowane funkcje, w tym bezpieczeństwo, replikację i dostrajanie wydajności.
- Korzystać z narzędzi zarządzania do monitorowania i utrzymywania klastrów Kafka.
Format kursu
- Interaktywny wykład i dyskusja.
- Wiele ćwiczeń i praktyki.
- Praktyczna implementacja w środowisku live-lab.
Opcje dostosowania kursu
- Aby zamówić dostosowane szkolenie, prosimy o kontakt w celu uzgodnienia szczegółów.
Apache Kafka Connect
7 godzinTen szkolenie prowadzone przez instruktora w Polsce (online lub stacjonarnie) jest skierowane do programistów, którzy chcą zintegrować Apache Kafka z istniejącymi bazami danych i aplikacjami w celu przetwarzania, analizy itp.
Na koniec tego szkolenia uczestnicy będą mogli:
- Korzystać z Kafka Connect do pozyskiwania dużych ilości danych z bazy danych do tematów Kafka.
- Pozyskiwać dane dziennika generowane przez serwery aplikacji do tematów Kafka.
- Udostępniać wszystkie zebrane dane do przetwarzania strumieniowego.
- Eksportować dane z tematów Kafka do drugorzędnych systemów w celu przechowywania i analizy.
Confluent Apache Kafka: Operacje i Konfiguracja Klastra
16 godzinConfluent Apache Kafka to korporacyjna platforma do przesyłania zdarzeń w czasie rzeczywistym, oparta na Apache Kafka. Obsługuje wydajne, odporne na awarie potoki danych oraz aplikacje do przesyłania strumieniowego w czasie rzeczywistym.
To szkolenie prowadzone przez instruktora, na żywo (online lub na miejscu), jest skierowane do inżynierów i administratorów na poziomie średnio zaawansowanym, którzy chcą wdrażać, konfigurować i optymalizować klastry Confluent Kafka w środowiskach produkcyjnych.
Pod koniec szkolenia uczestnicy będą mogli:
- Instalować, konfigurować i zarządzać klastrami Confluent Kafka z wieloma brokerami.
- Projektować konfiguracje wysokiej dostępności przy użyciu Zookeepera i technik replikacji.
- Dostosowywać wydajność, monitorować metryki i stosować strategie odzyskiwania.
- Zabezpieczać, skalować i integrować Kafka ze środowiskami korporacyjnymi.
Format kursu
- Interaktywny wykład i dyskusja.
- Dużo ćwiczeń i praktyki.
- Praktyczna implementacja w środowisku live-lab.
Opcje dostosowania kursu
- Aby zamówić dostosowane szkolenie, skontaktuj się z nami.
Budowanie rozwiązań Kafka z Confluent
14 godzinTo szkolenie prowadzone przez instruktora, na żywo (online lub na miejscu) jest skierowane do inżynierów, którzy chcą wykorzystać Confluent (dystrybucję Kafka) do budowania i zarządzania platformą przetwarzania danych w czasie rzeczywistym dla swoich aplikacji.
Pod koniec szkolenia uczestnicy będą mogli:
- Zainstalować i skonfigurować platformę Confluent.
- Korzystać z narzędzi i usług zarządzania Confluent, aby łatwiej uruchamiać Kafka.
- Przechowywać i przetwarzać przychodzące dane strumieniowe.
- Optymalizować i zarządzać klastrami Kafka.
- Zabezpieczać strumienie danych.
Format kursu
- Interaktywny wykład i dyskusja.
- Dużo ćwiczeń i praktyki.
- Praktyczna implementacja w środowisku live-lab.
Opcje dostosowania kursu
- Ten kurs jest oparty na wersji open source Confluent: Confluent Open Source.
- Aby zamówić dostosowane szkolenie dla tego kursu, prosimy o kontakt w celu ustalenia szczegółów.
Budowanie potoków danych z Apache Kafka
7 godzinApache Kafka to rozproszona platforma strumieniowa. Jest de facto standardem w budowaniu potoków danych i rozwiązuje wiele różnych przypadków użycia związanych z przetwarzaniem danych: może być używany jako kolejka komunikatów, rozproszony dziennik, procesor strumieniowy itp.
Zaczniemy od teorii dotyczącej potoków danych w ogóle, a następnie przejdziemy do podstawowych koncepcji związanych z Kafka. Poznamy również ważne komponenty, takie jak Kafka Streams i Kafka Connect.
Praktyczne wprowadzenie do przetwarzania strumieniowego
21 godzinW tym szkoleniu prowadzonym przez instruktora, na żywo w Polsce (stacjonarnie lub zdalnie), uczestnicy nauczą się, jak skonfigurować i zintegrować różne frameworki do przetwarzania strumieniowego z istniejącymi systemami przechowywania danych big data oraz powiązanymi aplikacjami i mikrousługami.
Po zakończeniu szkolenia uczestnicy będą mogli:
- Zainstalować i skonfigurować różne frameworki do przetwarzania strumieniowego, takie jak Spark Streaming i Kafka Streaming.
- Zrozumieć i wybrać najbardziej odpowiedni framework do danego zadania.
- Przetwarzać dane w sposób ciągły, równoległy i rekord po rekordzie.
- Zintegrować rozwiązania do przetwarzania strumieniowego z istniejącymi bazami danych, hurtowniami danych, jeziorami danych itp.
- Zintegrować najbardziej odpowiednią bibliotekę do przetwarzania strumieniowego z aplikacjami przedsiębiorstwa i mikrousługami.
Rozproszona komunikacja z wykorzystaniem Apache Kafka
14 godzinTen kurs jest przeznaczony dla architektów przedsiębiorstw, programistów, administratorów systemów oraz każdego, kto chce zrozumieć i korzystać z systemu rozproszonej komunikacji o wysokiej przepustowości. Jeśli masz bardziej szczegółowe wymagania (np. tylko strona administracji systemem), kurs można dostosować, aby lepiej odpowiadał Twoim potrzebom.
Kafka dla Administratorów
21 godzinSzkolenie prowadzone przez instruktora na żywo w Polsce (online lub na miejscu) jest skierowane do administratorów systemów i inżynierów operacyjnych na poziomie początkującym/średniozaawansowanym/zaawansowanym, którzy chcą wykorzystać Apache Kafka do wdrażania, zabezpieczania, monitorowania i rozwiązywania problemów z klastrami Kafka.
Po zakończeniu szkolenia uczestnicy będą mogli: wyjaśnić architekturę Kafka i tryb KRaft, zarządzać i zabezpieczać klastry Kafka, monitorować wydajność i niezawodność oraz rozwiązywać typowe problemy produkcyjne.
Apache Kafka dla programistów
21 godzinTo szkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu) jest skierowane do programistów na poziomie średniozaawansowanym, którzy chcą rozwijać aplikacje do przetwarzania dużych zbiorów danych za pomocą Apache Kafka.
Pod koniec szkolenia uczestnicy będą mogli:
- Tworzyć producentów i konsumentów Kafka do wysyłania i odczytywania danych z Kafka.
- Integrować Kafka z systemami zewnętrznymi za pomocą Kafka Connect.
- Pisać aplikacje strumieniowe z użyciem Kafka Streams & ksqlDB.
- Integrować aplikację kliencką Kafka z Confluent Cloud w celu wdrożeń Kafka w chmurze.
- Zdobyć praktyczne doświadczenie poprzez ćwiczenia i rzeczywiste przypadki użycia.
Apache Kafka dla programistów Python
7 godzinTo szkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu) jest skierowane do inżynierów danych, naukowców zajmujących się danymi oraz programistów, którzy chcą wykorzystać funkcje Apache Kafka w strumieniowaniu danych z użyciem Pythona.
Pod koniec tego szkolenia uczestnicy będą mogli używać Apache Kafka do monitorowania i zarządzania warunkami w ciągłych strumieniach danych przy użyciu programowania w Pythonie.
Podstawy Kafki dla programistów Java
14 godzinTo szkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu), jest skierowane do programistów Java na poziomie średniozaawansowanym, którzy chcą zintegrować Apache Kafka ze swoimi aplikacjami w celu zapewnienia niezawodnego, skalowalnego i wydajnego przesyłania wiadomości.
Pod koniec szkolenia uczestnicy będą mogli:
- Zrozumieć architekturę i podstawowe komponenty Kafki.
- Skonfigurować i zarządzać klastrem Kafka.
- Tworzyć i odbierać wiadomości za pomocą Java.
- Implementować Kafka Streams do przetwarzania danych w czasie rzeczywistym.
- Zapewnić tolerancję na błędy i skalowalność w aplikacjach Kafka.
Administracja kolejki komunikatów Kafka
14 godzinTo szkolenie prowadzone przez instruktora na żywo w Polsce (online lub na miejscu) jest skierowane do administratorów systemów na poziomie średnio zaawansowanym, którzy chcą skutecznie wykorzystać funkcje kolejkowania komunikatów w Kafka.
Pod koniec szkolenia uczestnicy będą mogli:
- Zrozumieć możliwości i architekturę kolejkowania komunikatów w Kafka.
- Konfigurować tematy Kafka dla scenariuszy kolejkowania komunikatów.
- Produkować i konsumować komunikaty za pomocą Kafka.
- Monitorować i zarządzać Kafka jako kolejką komunikatów.
Bezpieczeństwo dla Apache Kafka
7 godzinTo szkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu) jest skierowane do testerów oprogramowania, którzy chcą wdrożyć środki bezpieczeństwa sieciowego w aplikacji Apache Kafka.
Po zakończeniu szkolenia uczestnicy będą mogli:
- Wdrożyć Apache Kafka na serwerze chmurowym.
- Zaimplementować szyfrowanie SSL, aby zapobiec atakom.
- Dodać uwierzytelnianie ACL w celu śledzenia i kontroli dostępu użytkowników.
- Zapewnić, że wiarygodni klienci mają dostęp do klastrów Kafka z wykorzystaniem uwierzytelniania SSL i SASL.
Apache Kafka oraz Spring Boot
7 godzinSzkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla średnio zaawansowanych programistów, którzy chcą poznać podstawy Kafka i zintegrować je z Spring Boot.
Po zakończeniu tego szkolenia uczestnicy będą w stanie
- Zrozum Kafkę i jej architekturę.
- Dowiedz się, jak zainstalować, skonfigurować i skonfigurować podstawowe środowisko Kafka.
- Integracja Kafki z Spring Boot.
Administracja Tematów Kafka
14 godzinTo szkolenie prowadzone przez instruktora na żywo w Polsce (online lub na miejscu) jest skierowane do administratorów systemów na poziomie początkującym i średnio zaawansowanym, którzy chcą nauczyć się skutecznie zarządzać tematami Kafka w celu efektywnego przesyłania i przetwarzania danych.
Pod koniec szkolenia uczestnicy będą mogli:
- Zrozumieć podstawy i architekturę tematów Kafka.
- Tworzyć, konfigurować i zarządzać tematami Kafka.
- Monitorować tematy Kafka pod kątem zdrowia, wydajności i dostępności.
- Wdrażaæ środki bezpieczeństwa dla tematów Kafka.