Szkolenia Stream processing w Piotrków Trybunalski

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla inżynierów danych, analityków danych i programistów, którzy chcą korzystać z funkcji Spark Streaming w przetwarzaniu i analizowaniu danych w czasie rzeczywistym. Pod koniec tego szkolenia uczestnicy będą mogli używać Spark Streaming do przetwarzania strumieni danych na żywo do wykorzystania w bazach danych, systemach plików i pulpitach nawigacyjnych na żywo.

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla programistów, którzy chcą wdrożyć przetwarzanie strumieniowe Apache Kafka bez pisania kodu. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalacja i konfiguracja Confluent KSQL.
• Ustawienie potoku przetwarzania strumieniowego przy użyciu tylko poleceń SQL (bez kodowania Java lub Python).
• Przeprowadzanie filtrowania danych, transformacji, agregacji, łączenia, okienkowania i sesjonowania całkowicie w SQL.
• Projektowanie i wdrażanie interaktywnych, ciągłych zapytań dla strumieniowego ETL i analizy w czasie rzeczywistym.

Format kursu

• Interaktywny wykład i dyskusja.
• Dużo ćwiczeń i praktyki.
• Praktyczna implementacja w środowisku laboratoryjnym.

Opcje dostosowywania kursu

• Aby poprosić o niestandardowe szkolenie dla tego kursu, skontaktuj się z nami w celu jego zorganizowania.

To prowadzone przez instruktora szkolenie na żywo (online lub na miejscu) jest przeznaczone dla programistów, którzy chcą poznać zasady działania trwałej i czystej pamięci masowej, przechodząc przez proces tworzenia przykładowego projektu obliczeniowego w pamięci. Po zakończeniu tego szkolenia uczestnicy będą w stanie

Używaj Ignite do utrzymywania danych w pamięci, na dysku, a także jako czysto rozproszonej bazy danych w pamięci. Osiągnięcie trwałości bez synchronizowania danych z powrotem do relacyjnej bazy danych. Wykorzystanie Ignite do wykonywania SQL i rozproszonych złączeń. Poprawa wydajności poprzez przeniesienie danych bliżej procesora, wykorzystując pamięć RAM jako pamięć masową. Rozproszenie zestawów danych w klastrze w celu osiągnięcia skalowalności poziomej. Integracja Ignite z RDBMS, NoSQL, Hadoop i procesorami uczenia maszynowego.

Apache Beam to otwarty, zunifikowany model programowania do definiowania i wykonywania równoległych potoków przetwarzania danych. Jego siła tkwi w możliwości uruchamiania zarówno potoków wsadowych, jak i strumieniowych, przy czym wykonanie jest przeprowadzane przez jeden z obsługiwanych przez Beam back-endów przetwarzania rozproszonego: Apache Apex, Apache Flink, Apache Spark i Google Cloud Dataflow. Apache Beam jest przydatny do zadań ETL (Extract, Transform, and Load), takich jak przenoszenie danych między różnymi nośnikami pamięci i źródłami danych, przekształcanie danych w bardziej pożądany format i ładowanie danych do nowego systemu. W tym prowadzonym przez instruktora szkoleniu na żywo (na miejscu lub zdalnie) uczestnicy dowiedzą się, jak zaimplementować Apache Beam SDK w aplikacji Java lub Python, która definiuje potok przetwarzania danych w celu dekompozycji dużego zbioru danych na mniejsze fragmenty w celu niezależnego, równoległego przetwarzania. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zainstalować i skonfigurować Apache Beam.
• Wykorzystanie jednego modelu programowania do przetwarzania wsadowego i strumieniowego z poziomu aplikacji Java lub Python.
• Wykonywanie potoków w wielu środowiskach.

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i ciężka praktyka praktyczna

Uwaga

• Ten kurs będzie dostępny Scala w przyszłości. Prosimy o kontakt w celu ustalenia szczegółów.

Apache Apex to natywna platforma YARN, która łączy przetwarzanie strumieniowe i wsadowe. Przetwarza duże ilości danych w ruchu w sposób skalowalny, wydajny, odporny na błędy, stanowy, bezpieczny, rozproszony i łatwy w obsłudze. To prowadzone przez instruktora szkolenie na żywo wprowadza ujednoliconą architekturę przetwarzania strumieniowego Apache Apex i prowadzi uczestników przez tworzenie rozproszonej aplikacji przy użyciu Apex na Hadoop. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zrozumieć koncepcje potoku przetwarzania danych, takie jak łączniki dla źródeł i zlewów, typowe transformacje danych itp.
• Tworzenie, skalowanie i optymalizacja aplikacji Apex
• Niezawodne przetwarzanie strumieni danych w czasie rzeczywistym z minimalnymi opóźnieniami
• Korzystanie z Apex Core i biblioteki Apex Malhar w celu umożliwienia szybkiego tworzenia aplikacji
• Korzystanie z interfejsu API Apex do pisania i ponownego wykorzystywania istniejącego Java kodu
• Zintegruj Apex z innymi aplikacjami jako silnik przetwarzania
• Dostrajanie, testowanie i skalowanie aplikacji Apex

Format kursu

• Interaktywny wykład i dyskusja.
• Dużo ćwiczeń i praktyki.
• Praktyczne wdrożenie w środowisku live-lab.

Opcje dostosowywania kursu

• Aby zamówić niestandardowe szkolenie dla tego kursu, skontaktuj się z nami.

Apache Storm to rozproszony silnik obliczeniowy działający w czasie rzeczywistym, wykorzystywany do zapewniania analizy biznesowej w czasie rzeczywistym. Czyni to poprzez umożliwienie aplikacjom niezawodnego przetwarzania nieograniczonych strumieni danych (tzw. przetwarzanie strumieniowe). "Storm jest dla przetwarzania w czasie rzeczywistym tym, czym Hadoop jest dla przetwarzania wsadowego!"; Podczas tego prowadzonego przez instruktora szkolenia na żywo uczestnicy dowiedzą się, jak zainstalować i skonfigurować Apache Storm, a następnie opracować i wdrożyć aplikację Apache Storm do przetwarzania dużych zbiorów danych w czasie rzeczywistym. Niektóre z tematów zawartych w tym szkoleniu obejmują:

• Apache Storm w kontekście Hadoop
• Praca z nieograniczonymi danymi
• Obliczenia ciągłe
• Analityka w czasie rzeczywistym
• Rozproszone przetwarzanie RPC i ETL

Zamów ten kurs już teraz! Publiczność

• Deweloperzy oprogramowania i ETL
• Specjaliści Mainframe
• Naukowcy zajmujący się danymi
• Analitycy dużych zbiorów danych
• Specjaliści Hadoop

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i ciężka praktyka praktyczna

W tym prowadzonym przez instruktora szkoleniu na żywo w Piotrków Trybunalski (na miejscu lub zdalnie) uczestnicy dowiedzą się, jak wdrożyć i zarządzać Apache NiFi w środowisku laboratoryjnym na żywo. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalacja i konfiguracja Apachi NiFi.
• Pobieranie, przekształcanie i zarządzanie danymi z różnych, rozproszonych źródeł danych, w tym baz danych i dużych jezior danych.
• Automatyzuj przepływy danych.
• Włącz analitykę strumieniową.
• Zastosowanie różnych podejść do pozyskiwania danych.
• Przekształcanie danych Big Data w informacje biznesowe.

W tym prowadzonym przez instruktora szkoleniu na żywo w Piotrków Trybunalski uczestnicy poznają podstawy programowania opartego na przepływie, opracowując szereg rozszerzeń demonstracyjnych, komponentów i procesorów przy użyciu Apache NiFi. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zrozumienie architektury NiFi i koncepcji przepływu danych.
• Rozwijanie rozszerzeń przy użyciu NiFi i interfejsów API innych firm.
• Rozwijanie własnego procesora Apache Nifi.
• Pozyskiwanie i przetwarzanie danych w czasie rzeczywistym z różnych i nietypowych formatów plików i źródeł danych.

To prowadzone przez instruktora szkolenie na żywo w Piotrków Trybunalski  (online lub na miejscu) wprowadza zasady i podejścia stojące za rozproszonym przetwarzaniem danych strumieniowych i wsadowych oraz prowadzi uczestników przez tworzenie aplikacji do strumieniowego przesyłania danych w czasie rzeczywistym w Apache Flink. Po zakończeniu tego szkolenia uczestnicy będą w stanie

Konfiguracja środowiska do tworzenia aplikacji do analizy danych. Zrozumienie działania biblioteki przetwarzania grafów (Gelly) Apache Flink. Pakowanie, wykonywanie i monitorowanie opartych na Flink, odpornych na błędy aplikacji do strumieniowego przesyłania danych. Zarządzaj różnorodnymi obciążeniami. Wykonywanie zaawansowanych analiz. Konfigurowanie wielowęzłowego klastra Flink. Mierzyć i optymalizować wydajność. Integracja Flink z różnymi Big Data systemami. Porównywanie możliwości Flink z możliwościami innych platform przetwarzania dużych zbiorów danych.

To prowadzone przez instruktora szkolenie na żywo (w trybie online lub na miejscu) jest przeznaczone dla inżynierów, którzy chcą korzystać z Confluent (dystrybucji Kafka) do budowania i zarządzania platformą przetwarzania danych w czasie rzeczywistym dla swoich aplikacji. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zainstaluj i skonfiguruj platformę Confluent.
• Korzystaj z narzędzi i usług do zarządzania Confluent, aby łatwiej uruchamiać Kafkę.
• Przechowywanie i przetwarzanie przychodzących danych strumieniowych.
• Optymalizacja i zarządzanie klastrami Kafka.
• Zabezpieczanie strumieni danych.

Format kursu

• Interaktywny wykład i dyskusja.
• Dużo ćwiczeń i praktyki.
• Praktyczne wdrożenie w środowisku live-lab.

Opcje dostosowywania kursu

• Ten kurs jest oparty na wersji open source Confluent: Confluent Open Source.
• Aby zamówić niestandardowe szkolenie dla tego kursu, skontaktuj się z nami.

W tym instruktażowym szkoleniu na żywo w Piotrków Trybunalski (na miejscu lub zdalnie) uczestnicy dowiedzą się, jak skonfigurować i zintegrować różne Stream Processing frameworki z istniejącymi systemami przechowywania dużych zbiorów danych oraz powiązanymi aplikacjami i mikrousługami. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalowanie i konfigurowanie różnych Stream Processing frameworków, takich jak Spark Streaming i Kafka Streaming.
• Zrozumieć i wybrać najbardziej odpowiedni framework dla danego zadania.
• Przetwarzanie danych w sposób ciągły, współbieżny i rekord po rekordzie.
• Integracja Stream Processing rozwiązań z istniejącymi bazami danych, hurtowniami danych, jeziorami danych itp.
• Integracja najbardziej odpowiedniej biblioteki przetwarzania strumieniowego z aplikacjami korporacyjnymi i mikrousługami.

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla inżynierów danych, analityków danych i programistów, którzy chcą korzystać z funkcji Apache Kafka w strumieniowym przesyłaniu danych Python. Pod koniec tego szkolenia uczestnicy będą mogli używać Apache Kafka do monitorowania i zarządzania warunkami w ciągłych strumieniach danych przy użyciu programowania Python.

Kafka Streams to biblioteka po stronie klienta do tworzenia aplikacji i mikrousług, których dane są przekazywane do i z systemu przesyłania wiadomości Kafka. Tradycyjnie Apache Kafka polegał na Apache Spark lub Apache Storm do przetwarzania danych między producentami i odbiorcami wiadomości. Wywołując API Kafka Streams z poziomu aplikacji, dane mogą być przetwarzane bezpośrednio w Kafce, z pominięciem konieczności wysyłania danych do oddzielnego klastra w celu ich przetworzenia. W tym prowadzonym przez instruktora szkoleniu na żywo uczestnicy dowiedzą się, jak zintegrować Kafka Streams z zestawem przykładowych Java aplikacji, które przekazują dane do i z Apache Kafka w celu przetwarzania strumieniowego. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zrozumienie funkcji i zalet Kafka Streams w porównaniu z innymi strukturami przetwarzania strumieniowego
• Przetwarzanie danych strumieniowych bezpośrednio w klastrze Kafka
• Napisać aplikację lub mikrousługę w języku Java lub Scala, która integruje się z Kafka i Kafka Streams
• Napisać zwięzły kod, który przekształca wejściowe tematy Kafka w wyjściowe tematy Kafka
• Tworzenie, pakowanie i wdrażanie aplikacji

Publiczność

• Deweloperzy

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i ciężka praktyka praktyczna

Uwagi

• Aby zamówić niestandardowe szkolenie dla tego kursu, skontaktuj się z nami w celu ustalenia szczegółów.

Apache Samza to open-source'owy, asynchroniczny framework obliczeniowy do przetwarzania strumieniowego w czasie zbliżonym do rzeczywistego.  Wykorzystuje Apache Kafka do przesyłania wiadomości oraz Apache Hadoop YARN do tolerancji błędów, izolacji procesorów, bezpieczeństwa i zarządzania zasobami. To prowadzone przez instruktora szkolenie na żywo wprowadza zasady stojące za systemami przesyłania wiadomości i rozproszonym przetwarzaniem strumieniowym, jednocześnie przeprowadzając uczestników przez tworzenie przykładowego projektu opartego na Samza i wykonywanie zadań. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Wykorzystanie Samza do uproszczenia kodu potrzebnego do tworzenia i konsumowania komunikatów.
• Oddzielenie obsługi komunikatów od aplikacji.
• Wykorzystanie Samza do implementacji asynchronicznych obliczeń w czasie zbliżonym do rzeczywistego.
• Wykorzystanie przetwarzania strumieniowego w celu zapewnienia wyższego poziomu abstrakcji w stosunku do systemów przesyłania komunikatów.

Publiczność

• Deweloperzy

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i ciężka praktyka praktyczna