Plan Szkolenia
Wprowadzenie
Zrozumienie dużych zbiorów danych
Przegląd Sparka
Przegląd Pythona
Przegląd PySpark
- Rozdział danych za pomocą frameworka Resilient Distributed Datasets
- Rozdział obliczeń za pomocą operatorów Spark API
Przygotowanie Pythona ze Sparkiem
Przygotowanie PySpark
Korzystanie z instancji Amazon Web Services (AWS) EC2 dla Sparka
Przygotowanie Databricks
Przygotowanie klastra AWS EMR
Poznanie podstaw programowania w Pythonie
- Początki z Pythonem
- Korzystanie z Jupyter Notebooka
- Korzystanie z zmiennych i prostych typów danych
- Praca z listami
- Korzystanie z instrukcji if
- Korzystanie z danych wejściowych użytkownika
- Praca z pętlami while
- Implementowanie funkcji
- Praca z klasami
- Praca z plikami i wyjątkami
- Praca z projektami, danymi i API
Poznanie podstaw Spark DataFrame
- Początki z DataFrame Spark
- Implementowanie podstawowych operacji w Sparku
- Korzystanie z operacji Groupby i agregacji
- Praca z znacznikami czasowymi i datami
Praca nad ćwiczeniem projektowym Spark DataFrame
Zrozumienie uczenia maszynowego z MLlib
Praca z MLlib, Sparkiem i Pythonem w uczeniu maszynowym
Zrozumienie regresji
- Nauczanie teorii regresji liniowej
- Implementowanie kodu do oceny regresji
- Praca nad przykładowym ćwiczeniem z regresji liniowej
- Nauczanie teorii regresji logistycznej
- Implementowanie kodu regresji logistycznej
- Praca nad przykładowym ćwiczeniem z regresji logistycznej
Zrozumienie losowych lasów i drzew decyzyjnych
- Nauczanie teorii metod drzewiastych
- Implementowanie kodów dla drzew decyzyjnych i losowych lasów
- Praca nad przykładowym ćwiczeniem z klasyfikacji losowym lasem
Praca z klastrowaniem K-means
- Zrozumienie teorii klastrowania K-means
- Implementowanie kodu klastrowania K-means
- Praca nad przykładowym ćwiczeniem z klastrowania
Praca z systemami rekomendacyjnymi
Implementowanie przetwarzania języka naturalnego
- Zrozumienie przetwarzania języka naturalnego (NLP)
- Przegląd narzędzi NLP
- Praca nad przykładowym ćwiczeniem NLP
Przetwarzanie strumieniowe z Sparkiem na Pythonie
- Przegląd przetwarzania strumieniowego z Sparkiem
- Przykładowe ćwiczenie z przetwarzania strumieniowego Spark
Wymagania
- Ogólne umiejętności programowania.
Odbiorcy
- Programiści.
- Fachowcy IT.
- Specjaliści ds. danych.
Opinie uczestników (7)
ankieta przed szkoleniem i zastosowanie jej wynikow.
Krzysztof - Alfa Laval
Szkolenie - Python and Spark for Big Data (PySpark)
przygotowanie środowisk wirtualnych, instrukcje z przygotowaniem przed szkoleniem, ankieta oczekiwań przed szkoleniem i zastosowanie wyników podczas szkolenia.
Krzysztof - Alfa Laval
Szkolenie - Python and Spark for Big Data (PySpark)
Przygotowane wirtualne środowisko, instrukcja przygotowania przed szkoleniem, ankieta oczekiwań przed szkoleniem i zastosowanie wyników podczas szkolenia
Krzysztof - Alfa Laval
Szkolenie - Python and Spark for Big Data (PySpark)
Podobało mi się, że było praktyczne. Lubłem stosować teoretyczną wiedzę na przykładach praktycznych.
Aurelia-Adriana - Allianz Services Romania
Szkolenie - Python and Spark for Big Data (PySpark)
Przetłumaczone przez sztuczną inteligencję
Łatwość komunikacji i materiały.
Michal - summ-it s.a.
Szkolenie - Python and Spark for Big Data (PySpark)
Kontakt z prowadzącą, wiedza prowadzącej
Jakub - summ-it s.a.
Szkolenie - Python and Spark for Big Data (PySpark)
dużo praktycznych przykładów, na rzeczywistych danych
