Data Streaming and Real Time Data Processing - Plan Szkolenia

Grupa docelowa:

Kurs jest przeznaczony dla specjalistów IT poszukujących rozwiązania do przechowywania i przetwarzania dużych zbiorów danych w środowisku systemów rozproszonych.

Cel:

Pogłębienie wiedzy na temat administracji klastrem Hadoop.

To szkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu) jest skierowane do średnio zaawansowanych naukowców zajmujących się danymi oraz inżynierów, którzy chcą wykorzystać Google Colab i Apache Spark do przetwarzania i analizy dużych zbiorów danych.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Skonfigurować środowisko do pracy z dużymi danymi przy użyciu Google Colab i Spark.
• Efektywnie przetwarzać i analizować duże zbiory danych za pomocą Apache Spark.
• Wizualizować duże zbiory danych w środowisku współpracy.
• Integrować Apache Spark z narzędziami chmurowymi.

Analiza danych dużych objętości obejmuje proces badania dużych ilości różnorodnych zestawów danych w celu odkrycia korelacji, ukrytych wzorców i innych użytecznych informacji.

Branża zdrowia generuje ogromne ilości złożonych, heterogenicznych danych medycznych i klinicznych. Zastosowanie analizy danych dużych objętości w danych zdrowotnych stwarza ogromny potencjał w uzyskiwaniu informacji mających na celu poprawę jakości opieki zdrowotnej. Jednak ogrom tych zbiorów danych stanowi duże wyzwanie w analizach i praktycznych zastosowaniach w środowisku klinicznym.

Podczas tego szkolenia prowadzonego przez instruktora (zdalnie), uczestnicy nauczą się, jak przeprowadzać analizę danych dużych objętości w dziedzinie zdrowia, przechodząc przez serię praktycznych ćwiczeń w laboratorium.

Pod koniec szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować narzędzia do analizy danych dużych objętości, takie jak Hadoop MapReduce i Spark
• Zrozumieć charakterystykę danych medycznych
• Zastosować techniki danych dużych objętości do pracy z danymi medycznymi
• Poznać systemy i algorytmy danych dużych objętości w kontekście zastosowań w zdrowiu

Grupa docelowa

• Programiści
• Analitycy danych

Format kursu

• Część wykładowa, część dyskusyjna, ćwiczenia i intensywna praktyka.

Uwaga

• Aby zamówić szkolenie dostosowane do potrzeb, prosimy o kontakt w celu uzgodnienia szczegółów.

Apache Hadoop to najpopularniejsze framework do przetwarzania Big Data na klastrach serwerów. W tym trzydniowym (opcjonalnie czterodniowym) kursie uczestnicy dowiedzą się, jakie korzyści biznesowe i przypadki użycia oferuje Hadoop oraz jego ekosystem, jak planować wdrożenie i rozwój klastra, jak instalować, utrzymywać, monitorować, rozwiązywać problemy i optymalizować Hadoop. Będą również ćwiczyć masowe ładowanie danych do klastra, zapoznają się z różnymi dystrybucjami Hadoop oraz będą ćwiczyć instalację i zarządzanie narzędziami ekosystemu Hadoop. Kurs kończy się omówieniem zabezpieczania klastra za pomocą Kerberosa.

“…Materiały były bardzo dobrze przygotowane i szczegółowo omówione. Laboratorium było bardzo pomocne i dobrze zorganizowane”
— Andrew Nguyen, Główny Inżynier Integracji DW, Microsoft Online Advertising

Grupa docelowa

Administratorzy Hadoop

Format

Wykłady i praktyczne laboratoria, w przybliżeniu 60% wykładów, 40% laboratoriów.

Apache Hadoop to najbardziej popularne framework do przetwarzania Big Data na klastrach serwerów. Ten kurs wprowadzi programistę w różne komponenty (HDFS, MapReduce, Pig, Hive i HBase) ekosystemu Hadoop.

Apache Hadoop to jedna z najpopularniejszych platform do przetwarzania Big Data na klastrach serwerów. Ten kurs zagłębia się w zarządzanie danymi w HDFS oraz zaawansowane techniki pracy z Pig, Hive i HBase. Te zaawansowane techniki programowania będą korzystne dla doświadczonych programistów Hadoop.

Grupa docelowa: programiści

Czas trwania: trzy dni

Format: wykłady (50%) i warsztaty praktyczne (50%).

Grupa docelowa:

Ten kurs ma na celu demistyfikację technologii big data/hadoop i pokazanie, że nie jest trudna do zrozumienia.

To szkolenie prowadzone przez instruktora na żywo w Polsce (online lub na miejscu) jest skierowane do administratorów systemów, którzy chcą nauczyć się, jak konfigurować, wdrażać i zarządzać klastrami Hadoop w swojej organizacji.

Pod koniec szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować Apache Hadoop.
• Zrozumieć cztery główne komponenty ekosystemu Hadoop: HDFS, MapReduce, YARN i Hadoop Common.
• Używać Hadoop Distributed File System (HDFS) do skalowania klastra do setek lub tysięcy węzłów.
• Skonfigurować HDFS jako silnik magazynowania dla lokalnych wdrożeń Spark.
• Skonfigurować Spark do korzystania z alternatywnych rozwiązań magazynowych, takich jak Amazon S3, oraz systemów bazodanowych NoSQL, takich jak Redis, Elasticsearch, Couchbase, Aerospike itp.
• Wykonywać zadania administracyjne, takie jak provisionowanie, zarządzanie, monitorowanie i zabezpieczanie klastra Apache Hadoop.

Ten kurs wprowadza HBase – magazyn NoSQL oparty na Hadoop. Kurs jest przeznaczony dla programistów, którzy będą używać HBase do tworzenia aplikacji, oraz administratorów, którzy będą zarządzać klastrami HBase.

Przeprowadzimy programistę przez architekturę HBase, modelowanie danych oraz rozwój aplikacji na HBase. Omówimy również użycie MapReduce z HBase oraz niektóre tematy administracyjne związane z optymalizacją wydajności. Kurs jest bardzo praktyczny, z wieloma ćwiczeniami laboratoryjnymi.

Czas trwania: 3 dni

Grupa docelowa: Programiści i administratorzy

Apache NiFi to platforma do integracji danych i przetwarzania zdarzeń oparta na przepływach, dostępna jako oprogramowanie open-source. Umożliwia automatyczne, w czasie rzeczywistym, routowanie, transformację i mediację danych między różnymi systemami, oferując interfejs webowy oraz szczegółową kontrolę.

To szkolenie prowadzone przez instruktora (na miejscu lub zdalnie) jest skierowane do administratorów i inżynierów na poziomie średniozaawansowanym, którzy chcą wdrażać, zarządzać, zabezpieczać i optymalizować przepływy danych NiFi w środowiskach produkcyjnych.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Instalować, konfigurować i utrzymywać klastry Apache NiFi.
• Projektować i zarządzać przepływami danych z różnych źródeł i miejsc docelowych.
• Implementować automatyzację przepływów, routowanie i logikę transformacji.
• Optymalizować wydajność, monitorować operacje i rozwiązywać problemy.

Format kursu

• Interaktywny wykład z omówieniem architektury w oparciu o rzeczywiste przypadki.
• Praktyczne laboratoria: budowanie, wdrażanie i zarządzanie przepływami.
• Ćwiczenia oparte na scenariuszach w środowisku live-lab.

Opcje dostosowania kursu

• Aby zamówić dostosowane szkolenie, prosimy o kontakt w celu uzgodnienia szczegółów.

W tym szkoleniu prowadzonym przez instruktora, uczestnicy nauczą się podstaw programowania opartego na przepływie, tworząc szereg demonstracyjnych rozszerzeń, komponentów i procesorów przy użyciu Apache NiFi.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Zrozumieć architekturę NiFi oraz koncepcje przepływu danych.
• Tworzyć rozszerzenia przy użyciu NiFi i zewnętrznych API.
• Samodzielnie opracować własny procesor Apache NiFi.
• Pozyskiwać i przetwarzać dane w czasie rzeczywistym z różnych i nietypowych formatów plików oraz źródeł danych.

Szkolenie to zapewnia praktyczne wprowadzenie do budowania skalowalnych procesów przetwarzania danych i przepływów pracy w zakresie uczenia maszynowego przy użyciu PySpark. Uczestnicy dowiedzą się, jak Apache Spark działa w ramach nowoczesnych ekosystemów Big Data oraz jak efektywnie przetwarzać duże zbiory danych, korzystając z zasad obliczeń rozproszonych.

Podczas tego szkolenia prowadzonego przez instruktora na żywo w Polsce, uczestnicy nauczą się, jak używać Pythona i Sparka razem do analizy dużych zbiorów danych, pracując nad praktycznymi ćwiczeniami.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Nauczyć się, jak używać Sparka z Pythonem do analizy dużych zbiorów danych.
• Pracować nad ćwiczeniami, które odzwierciedlają rzeczywiste przypadki.
• Stosować różne narzędzia i techniki do analizy dużych zbiorów danych za pomocą PySpark.

To szkolenie prowadzone przez instruktora na żywo w Polsce (online lub na miejscu) jest skierowane do programistów, którzy chcą wykorzystywać i integrować Spark, Hadoop i Python do przetwarzania, analizy i transformacji dużych i złożonych zbiorów danych.

Pod koniec szkolenia uczestnicy będą mogli:

• Skonfigurować niezbędne środowisko do rozpoczęcia przetwarzania dużych zbiorów danych za pomocą Spark, Hadoop i Python.
• Zrozumieć funkcje, główne komponenty i architekturę Spark i Hadoop.
• Nauczyć się, jak integrować Spark, Hadoop i Python do przetwarzania dużych zbiorów danych.
• Poznać narzędzia w ekosystemie Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka i Flume).
• Budować systemy rekomendacji oparte na filtrowaniu współpracującym, podobne do tych używanych przez Netflix, YouTube, Amazon, Spotify i Google.
• Wykorzystać Apache Mahout do skalowania algorytmów uczenia maszynowego.

Stratio to platforma zorientowana na dane, która integruje big data, sztuczną inteligencję i zarządzanie w jednym rozwiązaniu. Jej moduły Rocket i Intelligence umożliwiają szybkie eksplorowanie, przekształcanie i zaawansowaną analizę danych w środowiskach przedsiębiorstw.

To szkolenie prowadzone przez instruktora (online lub na miejscu) jest skierowane do specjalistów od danych na poziomie średniozaawansowanym, którzy chcą efektywnie korzystać z modułów Rocket i Intelligence w Stratio z wykorzystaniem PySpark, koncentrując się na strukturach pętlowych, funkcjach zdefiniowanych przez użytkownika oraz zaawansowanej logice danych.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Poruszać się i pracować w platformie Stratio, korzystając z modułów Rocket i Intelligence.
• Stosować PySpark w kontekście pozyskiwania, przekształcania i analizy danych.
• Używać pętli i logiki warunkowej do kontrolowania przepływów danych i zadań inżynierii cech.
• Tworzyć i zarządzać funkcjami zdefiniowanymi przez użytkownika (UDF) do wielokrotnego wykorzystania operacji na danych w PySpark.

Format kursu

• Interaktywny wykład i dyskusja.
• Wiele ćwiczeń i praktyki.
• Praktyczna implementacja w środowisku live-lab.

Opcje dostosowania kursu

• Aby zamówić dostosowane szkolenie, skontaktuj się z nami w celu uzgodnienia szczegółów.