Python, Spark, oraz Hadoop dla Big Data - Plan Szkolenia

Głównym celem szkolenia jest zdobycie wiedzy z administracji systemem Apache Hadoop w środowiskach MapReduce oraz YARN na poziomie zaawansowanym. Tematyka szkolenia dotyczy w głównej mierze architektury systemu Hadoop, a w szczególności systemu plików HDFS oraz modeli programistycznych MapReduce i YARN oraz zagadnień związanych z planowaniem, instalacją, konfiguracją, administracją, zarządzaniem i monitorowaniem klastra systemu Hadoop. Pozostałe zagadnienia związane z tematyką BigData takie jak HBase, Cassandra, Impala, Pig, Hiver oraz Sqoop są również omówione, choć pobieżnie. Kurs przeznaczony jest w głównej mierze do specjalistów z branży IT, którzy chcą przygotować się i zdać egzamin CCAH (Cloudera Certified administrator for Apache Hadoop).

To szkolenie prowadzone przez instruktora (online lub na miejscu) jest skierowane do średniozaawansowanych naukowców danych i inżynierów danych, którzy chcą używać Google Colab i Apache Spark do przetwarzania i analizy dużych zbiorów danych.

Na zakończenie tego szkolenia uczestnicy będą w stanie:

• Zainstalować środowisko big data z użyciem Google Colab i Spark.
• Efektywnie przetwarzać i analizować duże zbiory danych za pomocą Apache Spark.
• Wizualizować big data w środowisku współpracy.
• Integrować Apache Spark z narzędziami chmurowymi.

Big data analytics obejmuje proces analizowania dużych ilości zróżnicowanych zestawów danych w celu odkrycia korelacji, ukrytych wzorców i innych użytecznych wniosków.

Branża zdrowotna posiada masywne ilości skomplikowanych, heterogenicznych danych medycznych i klinicznych. Zastosowanie analizy big data na danych zdrowotnych daje ogromny potencjał do wyciągania wniosków mających na celu poprawę dostarczania opieki zdrowotnej. Jednakże ogrom tych zestawów danych stwarza duże wyzwania w analizie i praktycznym zastosowaniu w środowisku klinicznym.

W tym prowadzonym przez instruktora, żywym szkoleniu (zdalne), uczestnicy nauczą się wykonywania analizy big data w dziedzinie zdrowia, przechodząc przez serię ćwiczeń w żywych laboratoriach.

Po zakończeniu tego szkolenia uczestnicy będą w stanie:

• Zainstalować i skonfigurować narzędzia do analizy big data, takie jak Hadoop MapReduce i Spark
• Zrozumieć cechy danych medycznych
• Zastosować techniki big data do pracy z danymi medycznymi
• Badac systemy i algorytmy big data w kontekście aplikacji zdrowotnych

Grupa docelowa

• Programiści
• Naukowcy danych

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i intensywna praktyka ręczna.

Uwaga

• Aby zapytać o spersonalizowane szkolenie dla tego kursu, prosimy o kontakt z nami w celu uzgodnienia.

Grupa docelowa:

Ten kurs ma na celu demistyfikację technologii big data/Hadoop i pokazanie, że nie jest trudna do zrozumienia.

Ta szkolenie prowadzone przez instruktora w Polsce (online lub stacjonarnie) jest skierowane do administratorów systemów, którzy chcą nauczyć się wdrażania, konfigurowania i zarządzania klastrami Hadoop w swojej organizacji.

Na końcu tego szkolenia uczestnicy będą w stanie:

• Zainstalować i skonfigurować Apache Hadoop.
• Poznać cztery główne komponenty ekosystemu Hadoop: HDFS, MapReduce, YARN oraz Hadoop Common.
• Używać Hadoop Distributed File System (HDFS) do skalowania klastra do setek lub tysięcy węzłów.  
• Skonfigurować HDFS jako silnik przechowywania dla lokalnych wdrożeń Spark.
• Skonfigurować Spark do uzyskiwania dostępu do alternatywnych rozwiązań przechowywania, takich jak Amazon S3 i bazy danych NoSQL, np. Redis, Elasticsearch, Couchbase, Aerospike itp.
• Wykonywać zadania administracyjne, takie jak alokacja zasobów, zarządzanie, monitorowanie i bezpieczne administrowanie klastem Apache Hadoop.

W tym prowadzonym przez instruktora, na żywo szkoleniu w Polsce (na miejscu lub zdalnie), uczestnicy nauczą się, jak skonfigurować i zintegrować różne ramy przetwarzania strumieniowego z istniejącymi systemami magazynowania danych Big Data oraz powiązanych oprogramowania i mikroserwisów.

Na koniec tego szkolenia uczestnicy będą w stanie:

• Zainstalować i skonfigurować różne ramy przetwarzania strumieniowego, takie jak Spark Streaming i Kafka Streaming.
• Zrozumieć i wybrać najodpowiedniejszą ramę do danego zadania.
• Przetwarzać dane ciągle, równolegle i rekord po rekordzie.
• Zintegrować rozwiązania przetwarzania strumieniowego z istniejącymi bazami danych, magazynami danych, jeziorami danych itp.
• Zintegrować najodpowiedniejszą bibliotekę przetwarzania strumieniowego z aplikacjami i mikroserwisami przedsiębiorstwa.

To prowadzone przez instruktora, na żywo szkolenie w Polsce (online lub stacjonarne) jest skierowane do naukowców o danych, którzy chcą korzystać ze stosu SMACK do budowania platform przetwarzania danych dla rozwiązań Big Data.

Po zakończeniu tego szkolenia uczestnicy będą w stanie:

• Zaimplementować architekturę potoku danych do przetwarzania Big Data.
• Opracować infrastrukturę klastra przy użyciu Apache Mesos i Docker.
• Analizować dane za pomocą Spark i Scala.
• Zarządzać niestrukturalnymi danymi za pomocą Apache Cassandra.

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla inżynierów, którzy chcą skonfigurować i wdrożyć system Apache Spark do przetwarzania bardzo dużych ilości danych.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalacja i konfiguracja Apache Spark.
• Szybkie przetwarzanie i analizowanie bardzo dużych zbiorów danych.
• Zrozumienie różnicy między Apache Spark i Hadoop MapReduce i kiedy używać którego z nich.
• Integracja Apache Spark z innymi narzędziami uczenia maszynowego.

To szkolenie prowadzone przez instruktora w Polsce (online lub na miejscu) jest skierowane do administratorów systemów na poziomie początkującego do średniozaawansowanego, którzy chcą wdrażać, utrzymywać i optymalizować klastery Spark.

Po zakończeniu tego szkolenia uczestnicy będą w stanie:

• Instalować i konfigurować Apache Spark w różnych środowiskach.
• Zarządzać zasobami klastra i monitorować aplikacje Spark.
• Optymalizować wydajność klastrów Spark.
• Wdrażać środki zabezpieczające i zapewniać wysoką dostępność.
• Diagnozować i rozwiązywać typowe problemy związane z Spark.

Krzywa uczenia się Apache Spark powoli rośnie na początku, wymaga dużo wysiłku, aby uzyskać pierwszy zwrot. Ten kurs ma na celu przeskoczenie pierwszej trudnej części. Po ukończeniu tego kursu uczestnicy zrozumieją podstawy Apache Spark , będą wyraźnie odróżniać RDD od DataFrame, nauczą się Pythona i Scala API, zrozumieją executory i zadania itp. Również zgodnie z najlepszymi praktykami, kurs ten silnie koncentruje się na wdrażaniu w chmurze, Databricks i AWS. Studenci zrozumieją również różnice między AWS EMR i AWS Glue, jedną z najnowszych usług Spark w AWS.  

AUDIENCJA:

Inżynier ds. danych, DevOps, Naukowiec ds. danych

CEL:

Ten kurs wprowadzi Apache Spark. Studenci dowiedzą się, jak  Spark pasuje  do ekosystemu Big Data i jak używać Spark do analizy danych.  Kurs obejmuje powłokę Spark do interaktywnej analizy danych, elementy wewnętrzne Spark, interfejsy API Spark, Spark SQL, przesyłanie strumieniowe Spark oraz uczenie maszynowe i graphX.

AUDIENCJA :

Programiści / analitycy danych

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla naukowców zajmujących się danymi i programistów, którzy chcą używać Spark NLP, zbudowanego na bazie Apache Spark, do opracowywania, wdrażania i skalowania modeli i potoków przetwarzania tekstu w języku naturalnym.

Pod koniec tego szkolenia uczestnicy będą mogli

• Skonfigurować niezbędne środowisko programistyczne, aby rozpocząć tworzenie potoków NLP za pomocą Spark NLP.
• Zrozumieć funkcje, architekturę i zalety korzystania z Spark NLP.
• Używać wstępnie wytrenowanych modeli dostępnych w Spark NLP do implementacji przetwarzania tekstu.
• Dowiedz się, jak budować, trenować i skalować modele Spark NLP dla projektów klasy produkcyjnej.
• Zastosuj klasyfikację, wnioskowanie i analizę nastrojów w rzeczywistych przypadkach użycia (dane kliniczne, spostrzeżenia dotyczące zachowań klientów itp.)

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce uczestnicy dowiedzą się, jak używać Python i Spark razem do analizy dużych zbiorów danych podczas pracy nad ćwiczeniami praktycznymi.

Pod koniec tego szkolenia uczestnicy będą mogli:

• Dowiedzieć się, jak używać Sparka z Python do analizy Big Data.
• Pracować nad ćwiczeniami, które naśladują rzeczywiste przypadki.
• Używać różnych narzędzi i technik do analizy dużych zbiorów danych przy użyciu PySpark.

Spark SQL jest modułem Apache Spark służącym do pracy z danymi strukturalnymi i niestrukturalnymi. Spark SQL dostarcza informacji o strukturze danych oraz przeprowadzanych obliczeniach. Te informacje można wykorzystać do wykonywania optymalizacji. Dwa powszechne zastosowania Spark SQL to:

- wykonanie zapytań SQL.

- odczytanie danych z istniejącej instalacji Hive.

W tym szkoleniu prowadzonym przez instruktora (stacjonarnym lub zdalnym), uczestnicy nauczą się analizować różne typy zbiorów danych za pomocą Spark SQL.

Po zakończeniu tego szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować Spark SQL.


• Wykonawać analizę danych za pomocą Spark SQL.


• Zapytwać zestawy danych w różnych formatach.


• Wizualizować dane i wyniki zapytań.

Format kursu

• Interaktywne wykłady i dyskusje.


• Wiele ćwiczeń i praktyki.


• Praktyczna implementacja w środowisku live-lab.

Opcje dostosowania kursu

• Aby poprosić o dostosowane szkolenie dla tego kursu, proszę skontaktować się z nami w celu umówienia.

Stratio to platforma centrowana na danych, która integruje big data, sztuczną inteligencję i zarządzanie w jedno rozwiązanie. Jej moduły Rocket i Intelligence umożliwiają szybkie eksplorowanie, transformację i zaawansowaną analitykę danych w środowiskach korporacyjnych.

To szkolenie prowadzone przez instruktora (online lub stacjonarnie) jest skierowane do profesjonalistów danych na poziomie średnim, którzy chcą efektywnie wykorzystywać moduły Rocket i Intelligence w Stratio z użyciem PySpark, skupiając się na strukturach pętli, funkcjach zdefiniowanych przez użytkownika oraz zaawansowanej logice danych.

Na koniec tego szkolenia uczestnicy będą w stanie:

• Poruszać się i pracować w platformie Stratio za pomocą modułów Rocket i Intelligence.
• Zastosować PySpark w kontekście wczytywania, transformacji i analizy danych.
• Używać pętli i logiki warunkowej do kontrolowania przepływu danych i zadań inżynierii cech.
• Tworzyć i zarządzać funkcjami zdefiniowanymi przez użytkownika (UDF) do powtarzalnych operacji danych w PySpark.

Format kursu

• Interaktywne wykłady i dyskusje.
• Dużo ćwiczeń i praktyki.
• Ręczne wdrożenie w środowisku live-lab.

Opcje dostosowania kursu

• Aby poprosić o dostosowane szkolenie dla tego kursu, skontaktuj się z nami w celu ustalenia szczegółów.