Talend Big Data Integration - Plan Szkolenia

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce uczestnicy dowiedzą się, jak zbudować Data Vault.

Pod koniec tego szkolenia uczestnicy będą mogli:

• Zrozumieć architekturę i koncepcje projektowe stojące za Data Vault 2.0 oraz jego interakcję z Big Data, NoSQL i AI.
• Korzystać z technik przechowywania danych w celu umożliwienia audytu, śledzenia i inspekcji danych historycznych w hurtowni danych.
• Opracowanie spójnego i powtarzalnego procesu ETL (Extract, Transform, Load).
• Tworzenie i wdrażanie wysoce skalowalnych i powtarzalnych hurtowni.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla inżynierów danych, naukowców zajmujących się danymi i programistów, którzy chcą korzystać z funkcji Spark Streaming w przetwarzaniu i analizowaniu danych w czasie rzeczywistym.

Pod koniec tego szkolenia uczestnicy będą mogli używać Spark Streaming do przetwarzania strumieni danych na żywo do użytku w bazach danych, systemach plików i pulpitach nawigacyjnych na żywo.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla programistów, którzy chcą wdrożyć przetwarzanie strumieniowe Apache Kafka bez pisania kodu.

Pod koniec tego szkolenia uczestnicy będą mogli

• Zainstalować i skonfigurować Confluent KSQL.
• Skonfigurować potok przetwarzania strumieniowego przy użyciu tylko SQL poleceń (bez kodowania Java lub Python).
• Przeprowadzać filtrowanie danych, transformacje, agregacje, łączenia, okienkowanie i sesjonowanie w całości w SQL.
• Projektowanie i wdrażanie interaktywnych, ciągłych zapytań dla strumieniowego ETL i analiz w czasie rzeczywistym.

Format kursu

• Interaktywny wykład i dyskusja.
• Wiele ćwiczeń i praktyki.
• Praktyczne wdrożenie w środowisku laboratoryjnym na żywo.

Opcje dostosowywania kursu

• Aby poprosić o spersonalizowane szkolenie dla tego kursu, skontaktuj się z nami.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla programistów, którzy chcą poznać zasady stojące za trwałą i czystą pamięcią masową w trakcie tworzenia przykładowego projektu obliczeniowego w pamięci.

Pod koniec tego szkolenia uczestnicy będą mogli

• Używać Ignite do trwałości w pamięci, na dysku, a także czysto rozproszonej bazy danych w pamięci.
• Osiągnąć trwałość bez synchronizacji danych z powrotem do relacyjnej bazy danych.
• Wykorzystanie Ignite do wykonywania SQL i rozproszonych złączeń.
• Poprawa wydajności poprzez przeniesienie danych bliżej procesora, wykorzystując pamięć RAM jako pamięć masową.
• Rozproszenie zestawów danych w klastrze w celu osiągnięcia skalowalności poziomej.
• Integracja Ignite z RDBMS, NoSQL, Hadoop i procesorami uczenia maszynowego.

Apache Beam to otwarty, zunifikowany model programowania do definiowania i wykonywania równoległych potoków przetwarzania danych. Jego moc polega na możliwości uruchamiania zarówno potoków wsadowych, jak i strumieniowych, przy czym wykonanie jest przeprowadzane przez jeden z obsługiwanych przez Beam back-endów przetwarzania rozproszonego: Apache Apex, Apache Flink, Apache Spark i Google Cloud Dataflow. Rozwiązanie Apache Beam jest przydatne w zadaniach ETL (Extract, Transform, and Load), takich jak przenoszenie danych między różnymi nośnikami pamięci i źródłami danych, przekształcanie danych w bardziej pożądany format i ładowanie danych do nowego systemu.

W tym prowadzonym przez instruktora szkoleniu na żywo (na miejscu lub zdalnie) uczestnicy dowiedzą się, jak zaimplementować Apache Beam SDK w aplikacji Java lub Python, która definiuje potok przetwarzania danych w celu dekompozycji dużego zbioru danych na mniejsze fragmenty w celu niezależnego, równoległego przetwarzania.

Pod koniec tego szkolenia uczestnicy będą mogli

• Zainstalować i skonfigurować Apache Beam.
• Używać pojedynczego modelu programowania do przeprowadzania zarówno przetwarzania wsadowego, jak i strumieniowego z poziomu aplikacji Java lub Python.
• Wykonywać potoki w wielu środowiskach.

Format kursu

• Wykład częściowy, dyskusja częściowa, ćwiczenia i ciężka praktyka praktyczna

Uwaga

• Ten kurs będzie dostępny Scala w przyszłości. Prosimy o kontakt w celu ustalenia szczegółów.

Apache Apex to natywna platforma YARN, która łączy przetwarzanie strumieniowe i wsadowe. Przetwarza duże ilości danych w ruchu w sposób skalowalny, wydajny, odporny na błędy, stanowy, bezpieczny, rozproszony i łatwy w obsłudze.

To prowadzone przez instruktora szkolenie na żywo wprowadza Apache Apex ujednoliconą architekturę przetwarzania strumieniowego i prowadzi uczestników przez tworzenie rozproszonej aplikacji przy użyciu Apex na Hadoop.

Pod koniec tego szkolenia uczestnicy będą mogli

• Zrozumieć koncepcje potoku przetwarzania danych, takie jak łączniki dla źródeł i zlewów, typowe transformacje danych itp.
• Budować, skalować i optymalizować aplikację Apex
• Przetwarzać strumienie danych w czasie rzeczywistym niezawodnie i z minimalnymi opóźnieniami
• Korzystanie z Apex Core i biblioteki Apex Malhar w celu umożliwienia szybkiego tworzenia aplikacji
• Korzystanie z interfejsu API Apex do pisania i ponownego wykorzystywania istniejącego Java kodu
• Zintegruj Apex z innymi aplikacjami jako silnik przetwarzania
• Dostrajanie, testowanie i skalowanie aplikacji Apex

Format kursu

• Interaktywny wykład i dyskusja.
• Wiele ćwiczeń i praktyki.
• Praktyczne wdrożenie w środowisku laboratoryjnym na żywo.

Opcje dostosowywania kursu

• Aby poprosić o spersonalizowane szkolenie dla tego kursu, skontaktuj się z nami w celu ustalenia szczegółów.

Apache Storm to rozproszony silnik obliczeniowy działający w czasie rzeczywistym, który umożliwia analitykę biznesową w czasie rzeczywistym. Czyni to poprzez umożliwienie aplikacjom niezawodnego przetwarzania nieograniczonych strumieni danych (tzw. przetwarzanie strumieniowe).

"Storm jest dla przetwarzania w czasie rzeczywistym tym, czym Hadoop jest dla przetwarzania wsadowego!"

W tym prowadzonym przez instruktora szkoleniu na żywo uczestnicy dowiedzą się, jak zainstalować i skonfigurować Apache Storm, a następnie opracować i wdrożyć aplikację Apache Storm do przetwarzania dużych zbiorów danych w czasie rzeczywistym.

Niektóre z tematów zawartych w tym szkoleniu obejmują:

• Apache Storm w kontekście Hadoop
• Praca z nieograniczonymi danymi
• Obliczenia ciągłe
• Analityka w czasie rzeczywistym
• Rozproszone przetwarzanie RPC i ETL

Zamów ten kurs już teraz!

Odbiorcy

• Deweloperzy oprogramowania i ETL
• Specjaliści Mainframe
• Naukowcy zajmujący się danymi
• Analitycy dużych zbiorów danych
• Specjaliści Hadoop

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i ciężka praktyka praktyczna

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce (na miejscu lub zdalnie) uczestnicy dowiedzą się, jak wdrożyć i zarządzać Apache NiFi w środowisku laboratoryjnym na żywo.

Pod koniec tego szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować Apachi NiFi.
• Pozyskiwać, przekształcać i zarządzać danymi z różnych, rozproszonych źródeł danych, w tym baz danych i dużych jezior danych.
• Automatyzować przepływy danych.
• Włączać analitykę strumieniową.
• Stosowanie różnych podejść do pozyskiwania danych.
• Przekształcanie danych Big Data w informacje biznesowe.

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce uczestnicy poznają podstawy programowania opartego na przepływie, opracowując szereg rozszerzeń demonstracyjnych, komponentów i procesorów przy użyciu Apache NiFi.

Pod koniec tego szkolenia uczestnicy będą mogli:

• Zrozumieć architekturę NiFi i koncepcje przepływu danych.
• Rozwijać rozszerzenia przy użyciu NiFi i interfejsów API innych firm.
• Rozwijać własny procesor Apache Nifi.
• Pozyskiwać i przetwarzać dane w czasie rzeczywistym z różnych i nietypowych formatów plików i źródeł danych.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) wprowadza zasady i podejścia stojące za rozproszonym przetwarzaniem danych strumieniowych i wsadowych oraz prowadzi uczestników przez proces tworzenia aplikacji do strumieniowego przesyłania danych w czasie rzeczywistym w Apache Flink.

Pod koniec tego szkolenia uczestnicy będą w stanie

• Skonfigurować środowisko do tworzenia aplikacji do analizy danych.
• Zrozumieć, jak działa biblioteka przetwarzania grafów Apache Flink (Gelly).
• Pakować, wykonywać i monitorować oparte na Flink, odporne na błędy aplikacje do strumieniowego przesyłania danych.
• Zarządzanie różnorodnymi obciążeniami.
• Wykonywanie zaawansowanych analiz.
• Konfigurowanie wielowęzłowego klastra Flink.
• Mierzyć i optymalizować wydajność.
• Integracja Flink z różnymi Big Data systemami.
• Porównywanie możliwości Flink z możliwościami innych platform przetwarzania dużych zbiorów danych.

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce uczestnicy dowiedzą się, jak używać Python i Spark razem do analizy dużych zbiorów danych podczas pracy nad ćwiczeniami praktycznymi.

Pod koniec tego szkolenia uczestnicy będą mogli:

• Dowiedzieć się, jak używać Sparka z Python do analizy Big Data.
• Pracować nad ćwiczeniami, które naśladują rzeczywiste przypadki.
• Używać różnych narzędzi i technik do analizy dużych zbiorów danych przy użyciu PySpark.

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce uczestnicy zapoznają się z ofertą technologiczną i podejściami wdrożeniowymi do przetwarzania danych grafowych. Celem jest identyfikacja obiektów świata rzeczywistego, ich cech i relacji, a następnie modelowanie tych relacji i przetwarzanie ich jako danych przy użyciu podejścia Graph Computing (znanego również jako Graph Analytics). Zaczynamy od szerokiego przeglądu i zawężamy się do konkretnych narzędzi, przechodząc przez serię studiów przypadków, ćwiczeń praktycznych i wdrożeń na żywo.

Pod koniec tego szkolenia uczestnicy będą mogli

• Zrozumieć, w jaki sposób dane wykresu są utrwalane i przemierzane.
• Wybrać najlepszą platformę dla danego zadania (od grafowych baz danych po ramy przetwarzania wsadowego).
• Zaimplementować Hadoop, Spark, GraphX i Pregel do równoległego przetwarzania grafów na wielu maszynach.
• Postrzeganie rzeczywistych problemów związanych z dużymi zbiorami danych w kategoriach grafów, procesów i przejść.

Ten kurs jest skierowany do programistów i naukowców zajmujących się danymi, którzy chcą zrozumieć i wdrożyć sztuczną inteligencję w swoich aplikacjach. Szczególna uwaga poświęcona jest analizie danych, rozproszonej sztucznej inteligencji i przetwarzaniu języka naturalnego.

MLlib to biblioteka Spark’s do uczenia maszynowego (ML). Jej celem jest uczynienie praktycznego uczenia maszynowego skalowalnym i łatwym. Składa się z popularnych algorytmów uczenia się i narzędzi, w tym klasyfikacji, regresji, klastrowania, filtrowania opartego na współpracy, redukcji wymiarowości, a także prymitywów optymalizacji niższego poziomu i interfejsów API potoków wyższego poziomu.

Dzieli się na dwa pakiety:

• spark.mllib zawiera oryginalny interfejs API zbudowany na bazie RDD.
• spark.ml zapewnia API wyższego poziomu zbudowane na DataFrames do konstruowania potoków ML.

Publiczność

Ten kurs jest skierowany do inżynierów i programistów, którzy chcą korzystać z wbudowanej biblioteki maszynowej dla Apache Spark