Apache Spark w chmurze - Plan Szkolenia

To szkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu) jest skierowane do średnio zaawansowanych naukowców zajmujących się danymi oraz inżynierów, którzy chcą wykorzystać Google Colab i Apache Spark do przetwarzania i analizy dużych zbiorów danych.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Skonfigurować środowisko do pracy z dużymi danymi przy użyciu Google Colab i Spark.
• Efektywnie przetwarzać i analizować duże zbiory danych za pomocą Apache Spark.
• Wizualizować duże zbiory danych w środowisku współpracy.
• Integrować Apache Spark z narzędziami chmurowymi.

Big data analytics obejmuje proces analizowania dużych ilości zróżnicowanych zestawów danych w celu odkrycia korelacji, ukrytych wzorców i innych użytecznych wniosków.

Branża zdrowotna posiada masywne ilości skomplikowanych, heterogenicznych danych medycznych i klinicznych. Zastosowanie analizy big data na danych zdrowotnych daje ogromny potencjał do wyciągania wniosków mających na celu poprawę dostarczania opieki zdrowotnej. Jednakże ogrom tych zestawów danych stwarza duże wyzwania w analizie i praktycznym zastosowaniu w środowisku klinicznym.

W tym prowadzonym przez instruktora, żywym szkoleniu (zdalne), uczestnicy nauczą się wykonywania analizy big data w dziedzinie zdrowia, przechodząc przez serię ćwiczeń w żywych laboratoriach.

Po zakończeniu tego szkolenia uczestnicy będą w stanie:

• Zainstalować i skonfigurować narzędzia do analizy big data, takie jak Hadoop MapReduce i Spark
• Zrozumieć cechy danych medycznych
• Zastosować techniki big data do pracy z danymi medycznymi
• Badac systemy i algorytmy big data w kontekście aplikacji zdrowotnych

Grupa docelowa

• Programiści
• Naukowcy danych

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i intensywna praktyka ręczna.

Uwaga

• Aby zapytać o spersonalizowane szkolenie dla tego kursu, prosimy o kontakt z nami w celu uzgodnienia.

To szkolenie prowadzone przez instruktora na żywo w Polsce (online lub na miejscu) jest skierowane do administratorów systemów, którzy chcą nauczyć się, jak konfigurować, wdrażać i zarządzać klastrami Hadoop w swojej organizacji.

Pod koniec szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować Apache Hadoop.
• Zrozumieć cztery główne komponenty ekosystemu Hadoop: HDFS, MapReduce, YARN i Hadoop Common.
• Używać Hadoop Distributed File System (HDFS) do skalowania klastra do setek lub tysięcy węzłów.
• Skonfigurować HDFS jako silnik magazynowania dla lokalnych wdrożeń Spark.
• Skonfigurować Spark do korzystania z alternatywnych rozwiązań magazynowych, takich jak Amazon S3, oraz systemów bazodanowych NoSQL, takich jak Redis, Elasticsearch, Couchbase, Aerospike itp.
• Wykonywać zadania administracyjne, takie jak provisionowanie, zarządzanie, monitorowanie i zabezpieczanie klastra Apache Hadoop.

W tym szkoleniu prowadzonym przez instruktora, na żywo w Polsce (stacjonarnie lub zdalnie), uczestnicy nauczą się, jak skonfigurować i zintegrować różne frameworki do przetwarzania strumieniowego z istniejącymi systemami przechowywania danych big data oraz powiązanymi aplikacjami i mikrousługami.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować różne frameworki do przetwarzania strumieniowego, takie jak Spark Streaming i Kafka Streaming.
• Zrozumieć i wybrać najbardziej odpowiedni framework do danego zadania.
• Przetwarzać dane w sposób ciągły, równoległy i rekord po rekordzie.
• Zintegrować rozwiązania do przetwarzania strumieniowego z istniejącymi bazami danych, hurtowniami danych, jeziorami danych itp.
• Zintegrować najbardziej odpowiednią bibliotekę do przetwarzania strumieniowego z aplikacjami przedsiębiorstwa i mikrousługami.

To szkolenie prowadzone przez instruktora na żywo w Polsce (online lub na miejscu) jest skierowane do data scientistów, którzy chcą wykorzystać stos SMACK do budowy platform przetwarzania danych dla rozwiązań big data.

Pod koniec szkolenia uczestnicy będą w stanie:

• Zaimplementować architekturę potoku danych do przetwarzania big data.
• Rozwinąć infrastrukturę klastrową z wykorzystaniem Apache Mesos i Dockera.
• Analizować dane za pomocą Spark i Scala.
• Zarządzać danymi niestrukturyzowanymi za pomocą Apache Cassandra.

To szkolenie prowadzone przez instruktora na żywo w Polsce (online lub na miejscu) jest skierowane do inżynierów, którzy chcą skonfigurować i wdrożyć system Apache Spark do przetwarzania bardzo dużych ilości danych.

Pod koniec szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować Apache Spark.
• Szybko przetwarzać i analizować bardzo duże zbiory danych.
• Zrozumieć różnicę między Apache Spark a Hadoop MapReduce oraz kiedy używać którego z nich.
• Zintegrować Apache Spark z innymi narzędziami do uczenia maszynowego.

To szkolenie prowadzone przez instruktora w Polsce (online lub na miejscu) jest skierowane do administratorów systemów na poziomie początkującego do średniozaawansowanego, którzy chcą wdrażać, utrzymywać i optymalizować klastery Spark.

Po zakończeniu tego szkolenia uczestnicy będą w stanie:

• Instalować i konfigurować Apache Spark w różnych środowiskach.
• Zarządzać zasobami klastra i monitorować aplikacje Spark.
• Optymalizować wydajność klastrów Spark.
• Wdrażać środki zabezpieczające i zapewniać wysoką dostępność.
• Diagnozować i rozwiązywać typowe problemy związane z Spark.

CEL:

Ten kurs wprowadzi Apache Spark. Studenci dowiedzą się, jak  Spark pasuje  do ekosystemu Big Data i jak używać Spark do analizy danych.  Kurs obejmuje powłokę Spark do interaktywnej analizy danych, elementy wewnętrzne Spark, interfejsy API Spark, Spark SQL, przesyłanie strumieniowe Spark oraz uczenie maszynowe i graphX.

AUDIENCJA :

Programiści / analitycy danych

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla naukowców zajmujących się danymi i programistów, którzy chcą używać Spark NLP, zbudowanego na bazie Apache Spark, do opracowywania, wdrażania i skalowania modeli i potoków przetwarzania tekstu w języku naturalnym.

Pod koniec tego szkolenia uczestnicy będą mogli

• Skonfigurować niezbędne środowisko programistyczne, aby rozpocząć tworzenie potoków NLP za pomocą Spark NLP.
• Zrozumieć funkcje, architekturę i zalety korzystania z Spark NLP.
• Używać wstępnie wytrenowanych modeli dostępnych w Spark NLP do implementacji przetwarzania tekstu.
• Dowiedz się, jak budować, trenować i skalować modele Spark NLP dla projektów klasy produkcyjnej.
• Zastosuj klasyfikację, wnioskowanie i analizę nastrojów w rzeczywistych przypadkach użycia (dane kliniczne, spostrzeżenia dotyczące zachowań klientów itp.)

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce uczestnicy dowiedzą się, jak używać Python i Spark razem do analizy dużych zbiorów danych podczas pracy nad ćwiczeniami praktycznymi.

Pod koniec tego szkolenia uczestnicy będą mogli:

• Dowiedzieć się, jak używać Sparka z Python do analizy Big Data.
• Pracować nad ćwiczeniami, które naśladują rzeczywiste przypadki.
• Używać różnych narzędzi i technik do analizy dużych zbiorów danych przy użyciu PySpark.

To szkolenie prowadzone przez instruktora na żywo w Polsce (online lub na miejscu) jest skierowane do programistów, którzy chcą wykorzystywać i integrować Spark, Hadoop i Python do przetwarzania, analizy i transformacji dużych i złożonych zbiorów danych.

Pod koniec szkolenia uczestnicy będą mogli:

• Skonfigurować niezbędne środowisko do rozpoczęcia przetwarzania dużych zbiorów danych za pomocą Spark, Hadoop i Python.
• Zrozumieć funkcje, główne komponenty i architekturę Spark i Hadoop.
• Nauczyć się, jak integrować Spark, Hadoop i Python do przetwarzania dużych zbiorów danych.
• Poznać narzędzia w ekosystemie Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka i Flume).
• Budować systemy rekomendacji oparte na filtrowaniu współpracującym, podobne do tych używanych przez Netflix, YouTube, Amazon, Spotify i Google.
• Wykorzystać Apache Mahout do skalowania algorytmów uczenia maszynowego.

Spark SQL to moduł Apache Spark do pracy ze strukturalnymi i niestrukturalnymi danymi. Spark SQL dostarcza informacji o strukturze danych oraz o wykonywanych obliczeniach. Informacje te mogą być wykorzystane do optymalizacji. Dwa najczęstsze zastosowania Spark SQL to:
- wykonywanie zapytań SQL.
- odczytywanie danych z istniejącej instalacji Hive.

W tym szkoleniu prowadzonym przez instruktora (na miejscu lub zdalnie), uczestnicy nauczą się, jak analizować różne typy zbiorów danych za pomocą Spark SQL.

Pod koniec szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować Spark SQL.
• Wykonywać analizę danych za pomocą Spark SQL.
• Przeprowadzać zapytania na zbiorach danych w różnych formatach.
• Wizualizować dane i wyniki zapytań.

Format kursu

• Interaktywny wykład i dyskusja.
• Wiele ćwiczeń i praktyki.
• Praktyczna implementacja w środowisku live-lab.

Opcje dostosowania kursu

• Aby zamówić dostosowane szkolenie z tego kursu, prosimy o kontakt w celu ustalenia szczegółów.

Stratio to platforma centrowana na danych, która integruje big data, sztuczną inteligencję i zarządzanie w jedno rozwiązanie. Jej moduły Rocket i Intelligence umożliwiają szybkie eksplorowanie, transformację i zaawansowaną analitykę danych w środowiskach korporacyjnych.

To szkolenie prowadzone przez instruktora (online lub stacjonarnie) jest skierowane do profesjonalistów danych na poziomie średnim, którzy chcą efektywnie wykorzystywać moduły Rocket i Intelligence w Stratio z użyciem PySpark, skupiając się na strukturach pętli, funkcjach zdefiniowanych przez użytkownika oraz zaawansowanej logice danych.

Na koniec tego szkolenia uczestnicy będą w stanie:

• Poruszać się i pracować w platformie Stratio za pomocą modułów Rocket i Intelligence.
• Zastosować PySpark w kontekście wczytywania, transformacji i analizy danych.
• Używać pętli i logiki warunkowej do kontrolowania przepływu danych i zadań inżynierii cech.
• Tworzyć i zarządzać funkcjami zdefiniowanymi przez użytkownika (UDF) do powtarzalnych operacji danych w PySpark.

Format kursu

• Interaktywne wykłady i dyskusje.
• Dużo ćwiczeń i praktyki.
• Ręczne wdrożenie w środowisku live-lab.

Opcje dostosowania kursu

• Aby poprosić o dostosowane szkolenie dla tego kursu, skontaktuj się z nami w celu ustalenia szczegółów.