Strumieniowa Obsługa Danych za pomocą Kafka Streams - Plan Szkolenia
Kafka Streams to biblioteka po stronie klienta do tworzenia aplikacji i mikroserwisów, w których dane są przesyłane między systemem komunikatów Kafka. Tradycyjnie Apache Kafka polegał na Apache Spark lub Apache Storm do przetwarzania danych między producentami a konsumentami wiadomości. Dzięki wywoływaniu API Kafka Streams z wnętrza aplikacji, dane mogą być przetwarzane bezpośrednio wewnątrz Kafka, eliminując potrzebę wysyłania danych do osobnego klastra do przetwarzania.
W tym prowadzonym przez instruktora szkoleniu na żywo, uczestnicy nauczą się, jak zintegrować Kafka Streams w zestawie przykładowych aplikacji Java, które przesyłają dane do i z Apache Kafka dla przetwarzania strumieniowego.
Na koniec tego szkolenia uczestnicy będą mogli:
- Zrozumieć funkcje i zalety Kafka Streams nad innymi frameworkami przetwarzania strumieniowego
- Przetwarzać dane strumieniowe bezpośrednio wewnątrz klastra Kafka
- Napisać aplikację lub mikroserwis w Java lub Scala, który jest zintegrowany z Kafka i Kafka Streams
- Pisać zwięzły kod, który przekształca wejściowe tematy Kafka w wyjściowe tematy Kafka
- Zbudować, spakować i wdrożyć aplikację
Widownia
- Deweloperzy
Format kursu
- Część wykład, część dyskusja, ćwiczenia i dużo praktyki na żywo
Uwagi
- Aby poprosić o dostosowane szkolenie dla tego kursu, prosimy skontaktować się z nami, aby uzgodnić szczegóły
Plan Szkolenia
Wstęp
- Kafka vs Spark, Flink i Storm
Przegląd funkcji Kafka Streams
- Procesowanie stanowe i bezstanowe, procesowanie oparte na czasie zdarzeń, DSL, operacje okienkowe oparte na czasie zdarzeń itp.
Przypadek studium: Kafka Streams API do przewidywanego budżetowania
Konfigurowanie środowiska deweloperskiego
Tworzenie aplikacji strumieniowej
Uruchamianie klastra Kafka
Przygotowywanie tematów i danych wejściowych
Opcje przetwarzania danych strumieniowych
- Górny poziom DSL Kafka Streams
- Niskopoziomowy procesor
Transformacja danych wejściowych
Sprawdzanie danych wyjściowych
Zatrzymywanie klastra Kafka
Opcje wdrażania aplikacji
- Klasyczne narzędzia ops (Puppet, Chef i Salt)
- Docker
- Plik WAR
Rozwiązywanie problemów
Podsumowanie i wnioski
Wymagania
- Zrozumienie Apache Kafka
- Doświadczenie w programowaniu w Javie
Szkolenia otwarte są realizowane w przypadku uzbierania się grupy szkoleniowej liczącej co najmniej 5 osób na dany termin.
Strumieniowa Obsługa Danych za pomocą Kafka Streams - Plan Szkolenia - Rezerwacja
Strumieniowa Obsługa Danych za pomocą Kafka Streams - Plan Szkolenia - Zapytanie
Strumieniowa Obsługa Danych za pomocą Kafka Streams - Zapytanie o Konsultacje
Zapytanie o Konsultacje
Opinie uczestników (1)
Przypominanie/przeglądanie kluczowych punktów omówionych tematów.
Paolo Angelo Gaton - SMS Global Technologies Inc.
Szkolenie - Building Stream Processing Applications with Kafka Streams
Przetłumaczone przez sztuczną inteligencję
Propozycje terminów
Szkolenia Powiązane
Apache Kafka Connect
7 godzinTen szkolenie prowadzone przez instruktora w Polsce (online lub stacjonarnie) jest skierowane do programistów, którzy chcą zintegrować Apache Kafka z istniejącymi bazami danych i aplikacjami w celu przetwarzania, analizy itp.
Na koniec tego szkolenia uczestnicy będą mogli:
- Korzystać z Kafka Connect do pozyskiwania dużych ilości danych z bazy danych do tematów Kafka.
- Pozyskiwać dane dziennika generowane przez serwery aplikacji do tematów Kafka.
- Udostępniać wszystkie zebrane dane do przetwarzania strumieniowego.
- Eksportować dane z tematów Kafka do drugorzędnych systemów w celu przechowywania i analizy.
Building Kafka Solutions with Confluent
14 godzinTrening prowadzony przez instruktora (online lub stacjonarnie) skierowany jest do inżynierów, którzy chcą wykorzystać Confluent (dystrybucję Kafka) do budowania i zarządzania platformą przetwarzania danych w czasie rzeczywistym dla swoich aplikacji.
Na koniec tego treningu uczestnicy będą w stanie:
- Zainstalować i skonfigurować Platformę Confluent.
- Korzystać z narzędzi i usług zarządzania Confluent, aby łatwiej uruchomić Kafka.
- Przechowywać i przetwarzać przychodzące strumienie danych.
- Optymalizować i zarządzać klastrami Kafka.
- Zabezpieczać strumienie danych.
Format kursu
- Interaktywna prezentacja i dyskusja.
- Duża liczba ćwiczeń i praktyki.
- Ręczna implementacja w środowisku live-lab.
Opcje dostosowywania kursu
- Ten kurs opiera się na otwartym źródle Confluent: Confluent Open Source.
- Aby zamówić dostosowany trening dla tego kursu, prosimy o kontakt z nami w celu ustalenia szczegółów.
Budowanie potoków danych z Apache Kafka
7 godzinApache Kafka to rozproszona platforma strumieniowa. De facto jest standardem do tworzenia potoków danych i rozwiązuje wiele różnych problemów związanych z przetwarzaniem danych: może być używany jako kolejka wiadomości, rozproszony dziennik, procesor strumienia, itp.
Zaczniemy od teorii dotyczącej potoków danych w ogólności, a następnie przejdziemy do podstawowych koncepcji stojących za Kafka. Poznamy również ważne komponenty, takie jak Kafka Streams i Kafka Connect.
Przykładowe Wprowadzenie do Przetwarzania Strumieniowego
21 godzinW tym szkoleniu prowadzonym przez instruktora (stacjonarnie lub zdalnie) uczestnicy nauczą się instalować i integrować różne ramki Stream Processing z istniejącymi systemami magazynowania dużych danych oraz z powiązanymi aplikacjami oprogramowania i mikrousługami.
Po zakończeniu tego szkolenia uczestnicy będą w stanie:
- Zainstalować i skonfigurować różne ramki Stream Processing, takie jak Spark Streaming i Kafka Streaming.
- Zrozumieć i wybrać najbardziej odpowiednią ramkę dla danego zadania.
- Proces danych w sposób ciągły, równoległy i rekord po rekordu.
- Zintegrować rozwiązania Stream Processing z istniejącymi bazami danych, magazynami danych, jeziorami danych, itd.
- Zintegrować najbardziej odpowiednią bibliotekę stream processing z aplikacjami przedsiębiorstw i mikrousługami.
Distributed Messaging with Apache Kafka
14 godzinTen kurs jest przeznaczony dla architektów przedsiębiorstw, programistów, administratorów systemów i wszystkich, którzy chcą zrozumieć i korzystać z wysokoprzepustowego rozproszonego systemu komunikacyjnego. Jeśli masz bardziej szczegółowe wymagania (np. tylko strona administracyjna), ten kurs może być dostosowany, aby lepiej spełniać Twoje potrzeby.
Kafka dla administratorów
21 godzinSzkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla administratorów systemów, którzy chcą skonfigurować, wdrożyć, zarządzać i optymalizować klaster Kafka klasy korporacyjnej.
Po zakończeniu tego szkolenia uczestnicy będą w stanie
- Konfiguracja i administrowanie klastrem Kafka.
- Oceń korzyści i wady wdrożenia Kafki lokalnie i w chmurze.
- Wdrażanie i monitorowanie Kafki przy użyciu różnych narzędzi środowiska lokalnego i chmurowego.
Apache Kafka dla Programistów
21 godzinTo szkolenie prowadzone przez instruktora, dostępne Polsce (online lub na miejscu), jest przeznaczone dla zaawansowanych programistów, którzy chcą tworzyć aplikacje big data z wykorzystaniem Apache Kafka.
Po ukończeniu tego szkolenia uczestnicy będą w stanie:
- Tworzyć produkty i konsumenci Kafka w celu wysyłania i odczytu danych z Kafka.
- Integrować Kafka z zewnętrznymi systemami za pomocą Kafka Connect.
- Pisać aplikacje strumieniowe za pomocą Kafka Streams & ksqlDB.
- Integrować aplikację klienta Kafka z Confluent Cloud dla wdrożeń Kafka w chmurze.
- Zdobywanie praktycznego doświadczenia poprzez ćwiczenia praktyczne i przypadki użycia w rzeczywistym świecie.
Apache Kafka dla programistów Pythona
7 godzinTo prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla inżynierów danych, naukowców zajmujących się danymi i programistów, którzy chcą korzystać z funkcji Apache Kafka w strumieniowym przesyłaniu danych z Python.
Pod koniec tego szkolenia uczestnicy będą mogli używać Apache Kafka do monitorowania i zarządzania warunkami w ciągłych strumieniach danych przy użyciu Python programowania.
Podstawy Kafki dla programistów Java
14 godzinTrening prowadzony przez instruktora na miejscu w Polsce (online lub stacjonarnie) jest skierowany do pośrednio zaawansowanych programistów Javy, którzy chcą zintegrować Apache Kafka w swoje aplikacje dla niezawodnej, skalowalnej i o wysokiej przepustowości komunikacji.
Na koniec tego szkolenia uczestnicy będą mogli:
- Zrozumieć architekturę i podstawowe elementy Kafka.
- Skonfigurować klaster Kafka.
- Generować i odbierać komunikaty za pomocą Javy.
- Implementować Kafka Streams do przetwarzania danych w czasie rzeczywistym.
- Zapewnić niezawodność i skalowalność aplikacji Kafka.
Administracja Kolejki Wiadomości Kafka
14 godzinTo szkolenie prowadzone przez instruktora (online lub na miejscu) jest skierowane do administratorów systemów na poziomie średnim, którzy chcą efektywnie wykorzystać funkcje kolejkowania wiadomości w Kafka.
Na zakończenie tego szkolenia uczestnicy będą w stanie:
- Zrozumieć możliwości i architekturę kolejkowania wiadomości w Kafka.
- Konfigurować tematy Kafka dla scenariuszy kolejkowania wiadomości.
- Wytwarzać i konsumować wiadomości za pomocą Kafka.
- Monitorować i zarządzać Kafka jako kolejką wiadomości.
Bezpieczeństwo dla Apache Kafka
7 godzinTrening prowadzony przez instruktora na miejscu lub online jest skierowany do testerów oprogramowania, którzy chcą zaimplementować środki bezpieczeństwa sieciowego w aplikacji Apache Kafka.
Na koniec tego treningu uczestnicy będą w stanie:
- Wdrożyć Apache Kafka na serwerze opartym na chmurze.
- Zaimplementować szyfrowanie SSL, aby zapobiegać atakom.
- Dodać uwierzytelnianie ACL, aby śledzić i kontrolować dostęp użytkowników.
- Upewnić się, że wiarygodni klienci mają dostęp do klastrów Kafka za pomocą szyfrowania SSL i SASL.
Apache Kafka oraz Spring Boot
7 godzinSzkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla średnio zaawansowanych programistów, którzy chcą poznać podstawy Kafka i zintegrować je z Spring Boot.
Po zakończeniu tego szkolenia uczestnicy będą w stanie
- Zrozum Kafkę i jej architekturę.
- Dowiedz się, jak zainstalować, skonfigurować i skonfigurować podstawowe środowisko Kafka.
- Integracja Kafki z Spring Boot.
Administracja tematów Kafka
14 godzinTo szkolenie prowadzone przez instruktora (online lub na miejscu) jest przeznaczone dla administratorów systemów na poziomie początkującego do średnio zaawansowanego, którzy chcą nauczyć się skutecznego zarządzania tematami Kafka dla efektywnego strumieniowania i przetwarzania danych.
Po zakończeniu tego szkolenia uczestnicy będą w stanie:
- Zrozumieć podstawy i architekturę tematów Kafka.
- Tworzyć, konfigurować i zarządzać tematami Kafka.
- Monitorować tematy Kafka pod kątem zdrowia, wydajności i dostępności.
- Wdrażać środki bezpieczeństwa dla tematów Kafka.
SMACK Stack dla nauki o danych
14 godzinTo szkolenie prowadzone przez instruktora (online lub na miejscu) jest skierowane do naukowców danych, którzy chcą wykorzystać stos SMACK do budowy platform przetwarzania danych dla rozwiązań big data.
Po ukończeniu tego szkolenia uczestnicy będą w stanie:
- Zaimplementować architekturę kanału danych do przetwarzania dużych danych.
- Rozwinąć infrastrukturę klasterową z Apache Mesos i Docker.
- Analizować dane z użyciem Spark i Scala.
- Zarządzać niestrukturyzowanymi danymi z Apache Cassandra.
Microservices z Spring Cloud i Kafka
21 godzinSzkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla programistów, którzy chcą przekształcić tradycyjną architekturę w wysoce współbieżną architekturę opartą na mikrousługach przy użyciu Spring Cloud, Kafka, Docker, Kubernetes i Redis.
Po zakończeniu tego szkolenia uczestnicy będą w stanie
- Ustawienie niezbędnego środowiska programistycznego do budowania mikrousług.
- Zaprojektowanie i wdrożenie wysoce współbieżnego ekosystemu mikrousług przy użyciu Spring Cloud, Kafka, Redis, Docker i Kubernetes.
- Transformacja usług monolitycznych i SOA do architektury opartej na mikrousługach.
- Zastosowanie podejścia DevOps do tworzenia, testowania i wydawania oprogramowania.
- Zapewnienie wysokiej współbieżności między mikrousługami w produkcji.
- Monitorowanie mikrousług i wdrażanie strategii odzyskiwania.
- Przeprowadzanie strojenia wydajności.
- Poznanie przyszłych trendów w architekturze mikrousług.