Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Plan Szkolenia
- Podstawa Scala Szybkie wprowadzenie do Scala Labs: Poznanie podstaw Scala Spark Tło i historia Spark i Hadoop Koncepcje i architektura Spark Eco system Spark (core, spark sql, mlib, streaming) Labs: Instalowanie i uruchamianie Sparka Pierwsze spojrzenie na Sparka Działającego Sparka tryb lokalny Spark web UI Spark Shell Analiza zbioru danych – część 1 Inspekcja RDD Laboratoria: Eksploracja powłoki Spark RDD Koncepcje RDD Partycje RDD Operacje / transformacje Typy RDD Para klucz-wartość RDD MapReduce na RDD Buforowanie i trwałość Laboratoria: tworzenie i sprawdzanie RDD; Buforowanie RDD Programowanie Spark API Wprowadzenie do Spark API / RDD API Przesyłanie pierwszego programu do Spark Debugowanie / logowanie Właściwości konfiguracyjne Laboratoria: Programowanie w Spark API, Przesyłanie zadań Obsługa Spark SQL SQL w Spark Dataframes Definiowanie tabel i importowanie zbiorów danych Wykonywanie zapytań o dane ramki przy użyciu SQL Formatów przechowywania: JSON / Parquet Labs: Tworzenie i wysyłanie zapytań do ramek danych; ocenianie formatów danych MLlib Wprowadzenie do MLlib Algorytmy MLlib Laboratoria: Pisanie aplikacji MLib GraphX Przegląd bibliotek GraphX Laboratoria GraphX API: Przetwarzanie danych wykresów za pomocą Spark Spark Streaming Przegląd przesyłania strumieniowego Ocena platform przesyłania strumieniowego Operacje strumieniowe Operacje w przesuwanych oknach Laboratoria: Pisanie aplikacji do strumieniowego przesyłania strumieniowego Spark i Hadoop Hadoop Wprowadzenie ( HDFS / YARN) Architektura Hadoop + Spark Uruchamianie Spark na Hadoop YARN Przetwarzanie plików HDFS przy użyciu Spark Spark Wydajność i strojenie Zmienne rozgłoszeniowe Akumulatory Zarządzanie pamięcią i buforowanie Operacje Spark Wdrażanie Spark w środowisku produkcyjnym Przykładowe szablony wdrożeń Konfiguracje Monitorowanie Rozwiązywanie problemów
Wymagania
WYMAGANIA WSTĘPNE
znajomość języka Java / Scala / Python (nasze laboratoria w Scala i Pythonie) podstawowa znajomość środowiska programistycznego Linux (nawigacja w wierszu poleceń / edycja plików za pomocą VI lub nano)
21 godzin
Opinie uczestników (1)
Wszystko ok.