Plan Szkolenia
Wprowadzenie
Zrozumienie Big Data
Przegląd Sparka
Przegląd Pythona
Przegląd PySpark
- Dystrybucja danych za pomocą frameworka Resilient Distributed Datasets
- Dystrybucja obliczeń za pomocą operatorów API Sparka
Konfiguracja Pythona z Sparkiem
Konfiguracja PySpark
Używanie instancji Amazon Web Services (AWS) EC2 dla Sparka
Konfiguracja Databricks
Konfiguracja klastra AWS EMR
Nauka podstaw programowania w Pythonie
- Rozpoczęcie pracy z Pythonem
- Korzystanie z Jupyter Notebook
- Używanie zmiennych i prostych typów danych
- Praca z listami
- Używanie instrukcji if
- Korzystanie z danych wprowadzanych przez użytkownika
- Praca z pętlami while
- Implementacja funkcji
- Praca z klasami
- Praca z plikami i wyjątkami
- Praca z projektami, danymi i API
Nauka podstaw Spark DataFrame
- Rozpoczęcie pracy z Spark DataFrames
- Implementacja podstawowych operacji w Sparku
- Używanie operacji Groupby i Aggregate
- Praca z znacznikami czasu i datami
Praca nad projektem związanym z Spark DataFrame
Zrozumienie uczenia maszynowego z MLlib
Praca z MLlib, Sparkiem i Pythonem w uczeniu maszynowym
Zrozumienie regresji
- Nauka teorii regresji liniowej
- Implementacja kodu oceny regresji
- Praca nad przykładowym ćwiczeniem regresji liniowej
- Nauka teorii regresji logistycznej
- Implementacja kodu regresji logistycznej
- Praca nad przykładowym ćwiczeniem regresji logistycznej
Zrozumienie lasów losowych i drzew decyzyjnych
- Nauka teorii metod drzewiastych
- Implementacja kodów drzew decyzyjnych i lasów losowych
- Praca nad przykładowym ćwiczeniem klasyfikacji lasów losowych
Praca z klastrowaniem K-średnich
- Zrozumienie teorii klastrowania K-średnich
- Implementacja kodu klastrowania K-średnich
- Praca nad przykładowym ćwiczeniem klastrowania
Praca z systemami rekomendacyjnymi
Implementacja przetwarzania języka naturalnego
- Zrozumienie przetwarzania języka naturalnego (NLP)
- Przegląd narzędzi NLP
- Praca nad przykładowym ćwiczeniem NLP
Przesyłanie strumieniowe z Sparkiem w Pythonie
- Przegląd przesyłania strumieniowego z Sparkiem
- Przykładowe ćwiczenie przesyłania strumieniowego w Sparku
Zakończenie
Wymagania
- Ogólne umiejętności programowania
Grupa docelowa
- Programiści
- Specjaliści IT
- Analitycy danych
Opinie uczestników (7)
ankieta przed szkoleniem i zastosowanie jej wynikow.
Krzysztof - Alfa Laval
Szkolenie - Python and Spark for Big Data (PySpark)
przygotowanie środowisk wirtualnych, instrukcje z przygotowaniem przed szkoleniem, ankieta oczekiwań przed szkoleniem i zastosowanie wyników podczas szkolenia.
Krzysztof - Alfa Laval
Szkolenie - Python and Spark for Big Data (PySpark)
Przygotowane wirtualne środowisko, instrukcja przygotowania przed szkoleniem, ankieta oczekiwań przed szkoleniem i zastosowanie wyników podczas szkolenia
Krzysztof - Alfa Laval
Szkolenie - Python and Spark for Big Data (PySpark)
Podobało mi się, że było praktyczne. Lubłem stosować teoretyczną wiedzę na przykładach praktycznych.
Aurelia-Adriana - Allianz Services Romania
Szkolenie - Python and Spark for Big Data (PySpark)
Przetłumaczone przez sztuczną inteligencję
Łatwość komunikacji i materiały.
Michal - summ-it s.a.
Szkolenie - Python and Spark for Big Data (PySpark)
Kontakt z prowadzącą, wiedza prowadzącej
Jakub - summ-it s.a.
Szkolenie - Python and Spark for Big Data (PySpark)
dużo praktycznych przykładów, na rzeczywistych danych
