Apache Spark w Chmurze - Plan Szkolenia

To szkolenie prowadzone przez instruktora (online lub na miejscu) jest skierowane do średniozaawansowanych naukowców danych i inżynierów danych, którzy chcą używać Google Colab i Apache Spark do przetwarzania i analizy dużych zbiorów danych.

Na zakończenie tego szkolenia uczestnicy będą w stanie:

• Zainstalować środowisko big data z użyciem Google Colab i Spark.
• Efektywnie przetwarzać i analizować duże zbiory danych za pomocą Apache Spark.
• Wizualizować big data w środowisku współpracy.
• Integrować Apache Spark z narzędziami chmurowymi.

Big data analytics obejmuje proces analizowania dużych ilości zróżnicowanych zestawów danych w celu odkrycia korelacji, ukrytych wzorców i innych użytecznych wniosków.

Branża zdrowotna posiada masywne ilości skomplikowanych, heterogenicznych danych medycznych i klinicznych. Zastosowanie analizy big data na danych zdrowotnych daje ogromny potencjał do wyciągania wniosków mających na celu poprawę dostarczania opieki zdrowotnej. Jednakże ogrom tych zestawów danych stwarza duże wyzwania w analizie i praktycznym zastosowaniu w środowisku klinicznym.

W tym prowadzonym przez instruktora, żywym szkoleniu (zdalne), uczestnicy nauczą się wykonywania analizy big data w dziedzinie zdrowia, przechodząc przez serię ćwiczeń w żywych laboratoriach.

Po zakończeniu tego szkolenia uczestnicy będą w stanie:

• Zainstalować i skonfigurować narzędzia do analizy big data, takie jak Hadoop MapReduce i Spark
• Zrozumieć cechy danych medycznych
• Zastosować techniki big data do pracy z danymi medycznymi
• Badac systemy i algorytmy big data w kontekście aplikacji zdrowotnych

Grupa docelowa

• Programiści
• Naukowcy danych

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i intensywna praktyka ręczna.

Uwaga

• Aby zapytać o spersonalizowane szkolenie dla tego kursu, prosimy o kontakt z nami w celu uzgodnienia.

Ta szkolenie prowadzone przez instruktora w Polsce (online lub stacjonarnie) jest skierowane do administratorów systemów, którzy chcą nauczyć się wdrażania, konfigurowania i zarządzania klastrami Hadoop w swojej organizacji.

Na końcu tego szkolenia uczestnicy będą w stanie:

• Zainstalować i skonfigurować Apache Hadoop.
• Poznać cztery główne komponenty ekosystemu Hadoop: HDFS, MapReduce, YARN oraz Hadoop Common.
• Używać Hadoop Distributed File System (HDFS) do skalowania klastra do setek lub tysięcy węzłów.  
• Skonfigurować HDFS jako silnik przechowywania dla lokalnych wdrożeń Spark.
• Skonfigurować Spark do uzyskiwania dostępu do alternatywnych rozwiązań przechowywania, takich jak Amazon S3 i bazy danych NoSQL, np. Redis, Elasticsearch, Couchbase, Aerospike itp.
• Wykonywać zadania administracyjne, takie jak alokacja zasobów, zarządzanie, monitorowanie i bezpieczne administrowanie klastem Apache Hadoop.

W tym prowadzonym przez instruktora, na żywo szkoleniu w Polsce (na miejscu lub zdalnie), uczestnicy nauczą się, jak skonfigurować i zintegrować różne ramy przetwarzania strumieniowego z istniejącymi systemami magazynowania danych Big Data oraz powiązanych oprogramowania i mikroserwisów.

Na koniec tego szkolenia uczestnicy będą w stanie:

• Zainstalować i skonfigurować różne ramy przetwarzania strumieniowego, takie jak Spark Streaming i Kafka Streaming.
• Zrozumieć i wybrać najodpowiedniejszą ramę do danego zadania.
• Przetwarzać dane ciągle, równolegle i rekord po rekordzie.
• Zintegrować rozwiązania przetwarzania strumieniowego z istniejącymi bazami danych, magazynami danych, jeziorami danych itp.
• Zintegrować najodpowiedniejszą bibliotekę przetwarzania strumieniowego z aplikacjami i mikroserwisami przedsiębiorstwa.

To prowadzone przez instruktora, na żywo szkolenie w Polsce (online lub stacjonarne) jest skierowane do naukowców o danych, którzy chcą korzystać ze stosu SMACK do budowania platform przetwarzania danych dla rozwiązań Big Data.

Po zakończeniu tego szkolenia uczestnicy będą w stanie:

• Zaimplementować architekturę potoku danych do przetwarzania Big Data.
• Opracować infrastrukturę klastra przy użyciu Apache Mesos i Docker.
• Analizować dane za pomocą Spark i Scala.
• Zarządzać niestrukturalnymi danymi za pomocą Apache Cassandra.

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla inżynierów, którzy chcą skonfigurować i wdrożyć system Apache Spark do przetwarzania bardzo dużych ilości danych.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalacja i konfiguracja Apache Spark.
• Szybkie przetwarzanie i analizowanie bardzo dużych zbiorów danych.
• Zrozumienie różnicy między Apache Spark i Hadoop MapReduce i kiedy używać którego z nich.
• Integracja Apache Spark z innymi narzędziami uczenia maszynowego.

To szkolenie prowadzone przez instruktora w Polsce (online lub na miejscu) jest skierowane do administratorów systemów na poziomie początkującego do średniozaawansowanego, którzy chcą wdrażać, utrzymywać i optymalizować klastery Spark.

Po zakończeniu tego szkolenia uczestnicy będą w stanie:

• Instalować i konfigurować Apache Spark w różnych środowiskach.
• Zarządzać zasobami klastra i monitorować aplikacje Spark.
• Optymalizować wydajność klastrów Spark.
• Wdrażać środki zabezpieczające i zapewniać wysoką dostępność.
• Diagnozować i rozwiązywać typowe problemy związane z Spark.

CEL:

Ten kurs wprowadzi Apache Spark. Studenci dowiedzą się, jak  Spark pasuje  do ekosystemu Big Data i jak używać Spark do analizy danych.  Kurs obejmuje powłokę Spark do interaktywnej analizy danych, elementy wewnętrzne Spark, interfejsy API Spark, Spark SQL, przesyłanie strumieniowe Spark oraz uczenie maszynowe i graphX.

AUDIENCJA :

Programiści / analitycy danych

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla naukowców zajmujących się danymi i programistów, którzy chcą używać Spark NLP, zbudowanego na bazie Apache Spark, do opracowywania, wdrażania i skalowania modeli i potoków przetwarzania tekstu w języku naturalnym.

Pod koniec tego szkolenia uczestnicy będą mogli

• Skonfigurować niezbędne środowisko programistyczne, aby rozpocząć tworzenie potoków NLP za pomocą Spark NLP.
• Zrozumieć funkcje, architekturę i zalety korzystania z Spark NLP.
• Używać wstępnie wytrenowanych modeli dostępnych w Spark NLP do implementacji przetwarzania tekstu.
• Dowiedz się, jak budować, trenować i skalować modele Spark NLP dla projektów klasy produkcyjnej.
• Zastosuj klasyfikację, wnioskowanie i analizę nastrojów w rzeczywistych przypadkach użycia (dane kliniczne, spostrzeżenia dotyczące zachowań klientów itp.)

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce uczestnicy dowiedzą się, jak używać Python i Spark razem do analizy dużych zbiorów danych podczas pracy nad ćwiczeniami praktycznymi.

Pod koniec tego szkolenia uczestnicy będą mogli:

• Dowiedzieć się, jak używać Sparka z Python do analizy Big Data.
• Pracować nad ćwiczeniami, które naśladują rzeczywiste przypadki.
• Używać różnych narzędzi i technik do analizy dużych zbiorów danych przy użyciu PySpark.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla programistów, którzy chcą używać i integrować Spark, Hadoop i Python do przetwarzania, analizowania i przekształcania dużych i złożonych zestawów danych.

Pod koniec tego szkolenia uczestnicy będą mogli

• Skonfigurować środowisko niezbędne do rozpoczęcia przetwarzania dużych zbiorów danych za pomocą Spark, Hadoop i Python.
• Zrozumieć funkcje, podstawowe komponenty i architekturę Spark i Hadoop.
• Dowiedz się, jak zintegrować Spark, Hadoop i Python w celu przetwarzania dużych zbiorów danych.
• Poznanie narzędzi w ekosystemie Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka i Flume).
• Tworzenie systemów rekomendacji opartych na filtrowaniu kolaboracyjnym podobnych do Netflix, YouTube, Amazon, Spotify i Google.
• Wykorzystanie Apache Mahout do skalowania algorytmów uczenia maszynowego.

Spark SQL jest modułem Apache Spark służącym do pracy z danymi strukturalnymi i niestrukturalnymi. Spark SQL dostarcza informacji o strukturze danych oraz przeprowadzanych obliczeniach. Te informacje można wykorzystać do wykonywania optymalizacji. Dwa powszechne zastosowania Spark SQL to:

- wykonanie zapytań SQL.

- odczytanie danych z istniejącej instalacji Hive.

W tym szkoleniu prowadzonym przez instruktora (stacjonarnym lub zdalnym), uczestnicy nauczą się analizować różne typy zbiorów danych za pomocą Spark SQL.

Po zakończeniu tego szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować Spark SQL.


• Wykonawać analizę danych za pomocą Spark SQL.


• Zapytwać zestawy danych w różnych formatach.


• Wizualizować dane i wyniki zapytań.

Format kursu

• Interaktywne wykłady i dyskusje.


• Wiele ćwiczeń i praktyki.


• Praktyczna implementacja w środowisku live-lab.

Opcje dostosowania kursu

• Aby poprosić o dostosowane szkolenie dla tego kursu, proszę skontaktować się z nami w celu umówienia.

Stratio to platforma centrowana na danych, która integruje big data, sztuczną inteligencję i zarządzanie w jedno rozwiązanie. Jej moduły Rocket i Intelligence umożliwiają szybkie eksplorowanie, transformację i zaawansowaną analitykę danych w środowiskach korporacyjnych.

To szkolenie prowadzone przez instruktora (online lub stacjonarnie) jest skierowane do profesjonalistów danych na poziomie średnim, którzy chcą efektywnie wykorzystywać moduły Rocket i Intelligence w Stratio z użyciem PySpark, skupiając się na strukturach pętli, funkcjach zdefiniowanych przez użytkownika oraz zaawansowanej logice danych.

Na koniec tego szkolenia uczestnicy będą w stanie:

• Poruszać się i pracować w platformie Stratio za pomocą modułów Rocket i Intelligence.
• Zastosować PySpark w kontekście wczytywania, transformacji i analizy danych.
• Używać pętli i logiki warunkowej do kontrolowania przepływu danych i zadań inżynierii cech.
• Tworzyć i zarządzać funkcjami zdefiniowanymi przez użytkownika (UDF) do powtarzalnych operacji danych w PySpark.

Format kursu

• Interaktywne wykłady i dyskusje.
• Dużo ćwiczeń i praktyki.
• Ręczne wdrożenie w środowisku live-lab.

Opcje dostosowania kursu

• Aby poprosić o dostosowane szkolenie dla tego kursu, skontaktuj się z nami w celu ustalenia szczegółów.