Przetwarzanie strumieniowe z Kafka Streams - Plan Szkolenia
Kafka Streams to biblioteka po stronie klienta służąca do tworzenia aplikacji i mikrousług, których dane są przesyłane do i z systemu przesyłania wiadomości Kafka. Tradycyjnie Apache Kafka opierała się na Apache Spark lub Apache Storm do przetwarzania danych między producentami a konsumentami wiadomości. Dzięki wywoływaniu API Kafka Streams z poziomu aplikacji, dane mogą być przetwarzane bezpośrednio w Kafka, omijając konieczność wysyłania danych do oddzielnego klastra w celu przetworzenia.
W tym szkoleniu prowadzonym przez instruktora, uczestnicy nauczą się, jak zintegrować Kafka Streams z zestawem przykładowych aplikacji Java, które przesyłają dane do i z Apache Kafka w celu przetwarzania strumieniowego.
Pod koniec szkolenia uczestnicy będą mogli:
- Zrozumieć funkcje i zalety Kafka Streams w porównaniu z innymi frameworkami do przetwarzania strumieniowego
- Przetwarzać dane strumieniowe bezpośrednio w klastrze Kafka
- Napisać aplikację lub mikrousługę w Java lub Scala, która integruje się z Kafka i Kafka Streams
- Napisać zwięzły kod, który przekształca tematy wejściowe Kafka w tematy wyjściowe Kafka
- Zbudować, spakować i wdrożyć aplikację
Grupa docelowa
- Deweloperzy
Format kursu
- Część wykładowa, część dyskusyjna, ćwiczenia i intensywna praktyka
Uwagi
- Aby zamówić dostosowane szkolenie z tego kursu, prosimy o kontakt w celu ustalenia szczegółów
Plan Szkolenia
Wprowadzenie
- Porównanie Kafka z Spark, Flink i Storm
Przegląd funkcji Kafka Streams
- Przetwarzanie stanowe i bezstanowe, przetwarzanie w czasie rzeczywistym, DSL, operacje okienkowe oparte na czasie zdarzeń itp.
Studium przypadku: API Kafka Streams do prognozowania budżetowego
Konfiguracja środowiska deweloperskiego
Tworzenie aplikacji strumieniowej
Uruchamianie klastra Kafka
Przygotowanie tematów i danych wejściowych
Opcje przetwarzania danych strumieniowych
- Wysokopoziomowy Kafka Streams DSL
- Niższopoziomowy Processor
Przekształcanie danych wejściowych
Sprawdzanie danych wyjściowych
Zatrzymywanie klastra Kafka
Opcje wdrażania aplikacji
- Klasyczne narzędzia ops (Puppet, Chef i Salt)
- Docker
- Plik WAR
Rozwiązywanie problemów
Podsumowanie i zakończenie
Wymagania
- Zrozumienie Apache Kafka
- Doświadczenie w programowaniu w Java
Szkolenia otwarte są realizowane w przypadku uzbierania się grupy szkoleniowej liczącej co najmniej 5 osób na dany termin.
Przetwarzanie strumieniowe z Kafka Streams - Plan Szkolenia - Rezerwacja
Przetwarzanie strumieniowe z Kafka Streams - Plan Szkolenia - Zapytanie
Przetwarzanie strumieniowe z Kafka Streams - Zapytanie o Konsultacje
Opinie uczestników (1)
Przypominanie/powtórzenie kluczowych punktów omawianych tematów.
Paolo Angelo Gaton - SMS Global Technologies Inc.
Szkolenie - Building Stream Processing Applications with Kafka Streams
Przetłumaczone przez sztuczną inteligencję
Propozycje terminów
Szkolenia Powiązane
Administracja Confluent Apache Kafka
21 godzinConfluent Apache Kafka to rozproszona platforma do przesyłania strumieniowego zdarzeń, zaprojektowana do obsługi wysokoprzepustowych, odpornych na awarie potoków danych oraz analizy w czasie rzeczywistym.
To szkolenie prowadzone przez instruktora, na żywo (online lub na miejscu) jest skierowane do średniozaawansowanych administratorów systemów i profesjonalistów DevOps, którzy chcą instalować, konfigurować, monitorować i rozwiązywać problemy z klastrami Confluent Apache Kafka.
Po zakończeniu szkolenia uczestnicy będą mogli:
- Zrozumieć komponenty i architekturę Confluent Kafka.
- Wdrażać i zarządzać brokerami Kafka, kworum Zookeeper oraz kluczowymi usługami.
- Konfigurować zaawansowane funkcje, w tym bezpieczeństwo, replikację i dostrajanie wydajności.
- Korzystać z narzędzi zarządzania do monitorowania i utrzymywania klastrów Kafka.
Format kursu
- Interaktywny wykład i dyskusja.
- Wiele ćwiczeń i praktyki.
- Praktyczna implementacja w środowisku live-lab.
Opcje dostosowania kursu
- Aby zamówić dostosowane szkolenie, prosimy o kontakt w celu uzgodnienia szczegółów.
Apache Kafka Connect
7 godzinTen szkolenie prowadzone przez instruktora w Polsce (online lub stacjonarnie) jest skierowane do programistów, którzy chcą zintegrować Apache Kafka z istniejącymi bazami danych i aplikacjami w celu przetwarzania, analizy itp.
Na koniec tego szkolenia uczestnicy będą mogli:
- Korzystać z Kafka Connect do pozyskiwania dużych ilości danych z bazy danych do tematów Kafka.
- Pozyskiwać dane dziennika generowane przez serwery aplikacji do tematów Kafka.
- Udostępniać wszystkie zebrane dane do przetwarzania strumieniowego.
- Eksportować dane z tematów Kafka do drugorzędnych systemów w celu przechowywania i analizy.
Confluent Apache Kafka: Zarządzanie klastrami i konfiguracja
16 godzinConfluent Apache Kafka jest platformą do dystrybucji zdarzeń w czasie rzeczywistym dla przedsiębiorstw, opartą na Apache Kafka. Obsługuje wysokoprzepustowe, odporne na awarie potoki danych oraz aplikacje strumieniowe w czasie rzeczywistym.
To prowadzone przez instruktora szkolenie (online lub stacjonarne) jest skierowane do inżynierów i administratorów o średnim poziomie zaawansowania, którzy chcą wdrażać, konfigurować i optymalizować klastry Confluent Kafka w środowiskach produkcyjnych.
Po ukończeniu tego szkolenia uczestnicy będą w stanie:
- Instalować, konfigurować i zarządzać klastrami Confluent Kafka z wieloma brokerami.
- Projektować konfiguracje wysokiej dostępności za pomocą Zookeeper i technik replikacji.
- Optymalizować wydajność, monitorować metryki i stosować strategie odzyskiwania.
- Zabezpieczać, skalować i integrować Kafka z przedsiębiorczymi środowiskami.
Format kursu
- Interaktywne wykłady i dyskusje.
- Wiele ćwiczeń i praktyki.
- Ręczne wdrażanie w środowisku laboratoryjnym na żywo.
Opcje dostosowania kursu
- Aby złożyć wniosek o dostosowane szkolenie dla tego kursu, prosimy o kontakt z nami w celu uzgodnienia.
Building Kafka Solutions with Confluent
14 godzinTrening prowadzony przez instruktora (online lub stacjonarnie) skierowany jest do inżynierów, którzy chcą wykorzystać Confluent (dystrybucję Kafka) do budowania i zarządzania platformą przetwarzania danych w czasie rzeczywistym dla swoich aplikacji.
Na koniec tego treningu uczestnicy będą w stanie:
- Zainstalować i skonfigurować Platformę Confluent.
- Korzystać z narzędzi i usług zarządzania Confluent, aby łatwiej uruchomić Kafka.
- Przechowywać i przetwarzać przychodzące strumienie danych.
- Optymalizować i zarządzać klastrami Kafka.
- Zabezpieczać strumienie danych.
Format kursu
- Interaktywna prezentacja i dyskusja.
- Duża liczba ćwiczeń i praktyki.
- Ręczna implementacja w środowisku live-lab.
Opcje dostosowywania kursu
- Ten kurs opiera się na otwartym źródle Confluent: Confluent Open Source.
- Aby zamówić dostosowany trening dla tego kursu, prosimy o kontakt z nami w celu ustalenia szczegółów.
Budowanie potoków danych z Apache Kafka
7 godzinApache Kafka to rozproszona platforma strumieniowa. Jest de facto standardem w budowaniu potoków danych i rozwiązuje wiele różnych przypadków użycia związanych z przetwarzaniem danych: może być używany jako kolejka komunikatów, rozproszony dziennik, procesor strumieniowy itp.
Zaczniemy od teorii dotyczącej potoków danych w ogóle, a następnie przejdziemy do podstawowych koncepcji związanych z Kafka. Poznamy również ważne komponenty, takie jak Kafka Streams i Kafka Connect.
Praktyczne wprowadzenie do przetwarzania strumieniowego
21 godzinW tym szkoleniu prowadzonym przez instruktora, na żywo w Polsce (stacjonarnie lub zdalnie), uczestnicy nauczą się, jak skonfigurować i zintegrować różne frameworki do przetwarzania strumieniowego z istniejącymi systemami przechowywania danych big data oraz powiązanymi aplikacjami i mikrousługami.
Po zakończeniu szkolenia uczestnicy będą mogli:
- Zainstalować i skonfigurować różne frameworki do przetwarzania strumieniowego, takie jak Spark Streaming i Kafka Streaming.
- Zrozumieć i wybrać najbardziej odpowiedni framework do danego zadania.
- Przetwarzać dane w sposób ciągły, równoległy i rekord po rekordzie.
- Zintegrować rozwiązania do przetwarzania strumieniowego z istniejącymi bazami danych, hurtowniami danych, jeziorami danych itp.
- Zintegrować najbardziej odpowiednią bibliotekę do przetwarzania strumieniowego z aplikacjami przedsiębiorstwa i mikrousługami.
Distributed Messaging with Apache Kafka
14 godzinTen kurs jest przeznaczony dla architektów przedsiębiorstw, programistów, administratorów systemów i wszystkich, którzy chcą zrozumieć i korzystać z wysokoprzepustowego rozproszonego systemu komunikacyjnego. Jeśli masz bardziej szczegółowe wymagania (np. tylko strona administracyjna), ten kurs może być dostosowany, aby lepiej spełniać Twoje potrzeby.
Kafka dla Administratorów
21 godzinTen prowadzony przez instruktora, na żywo rozprowadzany szkolenie w Polsce (online lub stacjonarnie) skierowany jest do poziomu początkowego / średniego / zaawansowanego administratorów systemów i inżynierów operacyjnych, którzy chcą korzystać z Apache Kafka do wdrażania, zabezpieczania, monitorowania i rozwiązywania problemów z klastrami Kafka.
Na koniec tego szkolenia uczestnicy będą w stanie: wyjaśnić architekturę Kafka i tryb KRaft, obsługiwać i zabezpieczać klastry Kafka, monitorować wydajność i niezawodność oraz rozwiązywać typowe problemy produkcyjne.
Apache Kafka dla programistów
21 godzinTo szkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu) jest skierowane do programistów na poziomie średniozaawansowanym, którzy chcą rozwijać aplikacje do przetwarzania dużych zbiorów danych za pomocą Apache Kafka.
Pod koniec szkolenia uczestnicy będą mogli:
- Tworzyć producentów i konsumentów Kafka do wysyłania i odczytywania danych z Kafka.
- Integrować Kafka z systemami zewnętrznymi za pomocą Kafka Connect.
- Pisać aplikacje strumieniowe z użyciem Kafka Streams & ksqlDB.
- Integrować aplikację kliencką Kafka z Confluent Cloud w celu wdrożeń Kafka w chmurze.
- Zdobyć praktyczne doświadczenie poprzez ćwiczenia i rzeczywiste przypadki użycia.
Apache Kafka dla programistów Python
7 godzinTo szkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu) jest skierowane do inżynierów danych, naukowców zajmujących się danymi oraz programistów, którzy chcą wykorzystać funkcje Apache Kafka w strumieniowaniu danych z użyciem Pythona.
Pod koniec tego szkolenia uczestnicy będą mogli używać Apache Kafka do monitorowania i zarządzania warunkami w ciągłych strumieniach danych przy użyciu programowania w Pythonie.
Podstawy Kafki dla programistów Java
14 godzinTo szkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu), jest skierowane do programistów Java na poziomie średniozaawansowanym, którzy chcą zintegrować Apache Kafka ze swoimi aplikacjami w celu zapewnienia niezawodnego, skalowalnego i wydajnego przesyłania wiadomości.
Pod koniec szkolenia uczestnicy będą mogli:
- Zrozumieć architekturę i podstawowe komponenty Kafki.
- Skonfigurować i zarządzać klastrem Kafka.
- Tworzyć i odbierać wiadomości za pomocą Java.
- Implementować Kafka Streams do przetwarzania danych w czasie rzeczywistym.
- Zapewnić tolerancję na błędy i skalowalność w aplikacjach Kafka.
Administracja kolejki komunikatów Kafka
14 godzinTo szkolenie prowadzone przez instruktora na żywo w Polsce (online lub na miejscu) jest skierowane do administratorów systemów na poziomie średnio zaawansowanym, którzy chcą skutecznie wykorzystać funkcje kolejkowania komunikatów w Kafka.
Pod koniec szkolenia uczestnicy będą mogli:
- Zrozumieć możliwości i architekturę kolejkowania komunikatów w Kafka.
- Konfigurować tematy Kafka dla scenariuszy kolejkowania komunikatów.
- Produkować i konsumować komunikaty za pomocą Kafka.
- Monitorować i zarządzać Kafka jako kolejką komunikatów.
Zabezpieczenia dla Apache Kafka
7 godzinTrening prowadzony przez instruktora (online lub stacjonarnie) w Polsce jest skierowany do testerów oprogramowania, którzy chcą zaimplementować środki zabezpieczeń sieciowych w aplikacji Apache Kafka.
Na końcu tego treningu uczestnicy będą w stanie:
- Wdrożyć Apache Kafka na serwerze opartym na chmurze.
- Zaimplementować szyfrowanie SSL, aby zapobiegać atakom.
- Dodać uwierzytelnianie ACL, aby śledzić i kontrolować dostęp użytkowników.
- Upewnić się, że wiarygodni klienci mają dostęp do klastrów Kafka za pomocą szyfrowania SSL i SASL.
Apache Kafka oraz Spring Boot
7 godzinSzkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla średnio zaawansowanych programistów, którzy chcą poznać podstawy Kafka i zintegrować je z Spring Boot.
Po zakończeniu tego szkolenia uczestnicy będą w stanie
- Zrozum Kafkę i jej architekturę.
- Dowiedz się, jak zainstalować, skonfigurować i skonfigurować podstawowe środowisko Kafka.
- Integracja Kafki z Spring Boot.
Administracja Tematów Kafka
14 godzinTo szkolenie prowadzone przez instruktora na żywo w Polsce (online lub na miejscu) jest skierowane do administratorów systemów na poziomie początkującym i średnio zaawansowanym, którzy chcą nauczyć się skutecznie zarządzać tematami Kafka w celu efektywnego przesyłania i przetwarzania danych.
Pod koniec szkolenia uczestnicy będą mogli:
- Zrozumieć podstawy i architekturę tematów Kafka.
- Tworzyć, konfigurować i zarządzać tematami Kafka.
- Monitorować tematy Kafka pod kątem zdrowia, wydajności i dostępności.
- Wdrażaæ środki bezpieczeństwa dla tematów Kafka.