Strumieniowanie danych i przetwarzanie danych w czasie rzeczywistym - Plan Szkolenia

To szkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu), jest skierowane do zaawansowanych specjalistów ds. danych, którzy chcą optymalizować przepływy pracy związane z przetwarzaniem danych, zapewnić integralność danych oraz wdrażać solidne rozwiązania typu data lakehouse, zdolne poradzić sobie ze złożonością współczesnych aplikacji big data.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Zdobyć dogłębną wiedzę na temat architektury Iceberg, w tym zarządzania metadanymi i układu plików.
• Skonfigurować Iceberg w celu uzyskania optymalnej wydajności w różnych środowiskach i zintegrować go z wieloma silnikami przetwarzania danych.
• Zarządzać tabelami Iceberg na dużą skalę, wprowadzać złożone zmiany schematów i zarządzać ewolucją partycji.
• Opanować techniki optymalizacji wydajności zapytań i efektywności skanowania danych dla dużych zbiorów danych.
• Wdrożyć mechanizmy zapewniające spójność danych, zarządzanie gwarancjami transakcyjnymi oraz obsługę awarii w środowiskach rozproszonych.

To szkolenie prowadzone przez instruktora, dostępne online lub na miejscu w Polsce, jest skierowane do profesjonalistów zajmujących się danymi na poziomie początkującym, którzy chcą zdobyć wiedzę i umiejętności niezbędne do efektywnego wykorzystania Apache Iceberg do zarządzania dużymi zbiorami danych, zapewnienia integralności danych i optymalizacji przepływów pracy związanych z przetwarzaniem danych.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Zdobyć dogłębną wiedzę na temat architektury, funkcji i zalet Apache Iceberg.
• Poznać formaty tabel, partycjonowanie, ewolucję schematów oraz możliwości podróży w czasie.
• Zainstalować i skonfigurować Apache Iceberg w różnych środowiskach.
• Tworzyć, zarządzać i manipulować tabelami Iceberg.
• Zrozumieć proces migracji danych z innych formatów tabel do Iceberg.

To szkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu) jest skierowane do średnio zaawansowanych naukowców zajmujących się danymi oraz inżynierów, którzy chcą wykorzystać Google Colab i Apache Spark do przetwarzania i analizy dużych zbiorów danych.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Skonfigurować środowisko do pracy z dużymi danymi przy użyciu Google Colab i Spark.
• Efektywnie przetwarzać i analizować duże zbiory danych za pomocą Apache Spark.
• Wizualizować duże zbiory danych w środowisku współpracy.
• Integrować Apache Spark z narzędziami chmurowymi.

Trening prowadzony przez instruktora (online lub stacjonarny) skierowany jest do inżynierów danych, analityków oraz profesjonalistów działających w obszarze danych, którzy chcą korzystać z Databricks i PySpark do budowania skalowalnych potoków danych oraz migracji istniejących przepływów pracy opartych na SQL.

Szkolenie to zapewnia praktyczne wprowadzenie do budowania skalowalnych procesów przetwarzania danych i przepływów pracy w zakresie uczenia maszynowego przy użyciu PySpark. Uczestnicy dowiedzą się, jak Apache Spark działa w ramach nowoczesnych ekosystemów Big Data oraz jak efektywnie przetwarzać duże zbiory danych, korzystając z zasad obliczeń rozproszonych.

Ten trzudniowy, praktyczny kurs koncentruje się na budowaniu i optymalizacji wydajnych obciążeń przetwarzania danych przy użyciu PySpark, Pandas oraz Polars w środowiskach opartych na Kubernetesie.

Uczestnicy zdobędą praktyczną wiedzę na temat tego, jak aplikacje Spark są wykonywane w Kubernetesie oraz jak decyzje dotyczące konfiguracji na poziomie aplikacji wpływają na wydajność, skalowalność, zużycie zasobów i koszty. Kurs obejmuje kluczowe obszary optymalizacji, takie jak rozmiar executorów, alokacja pamięci, dynamiczna alokacja, strategie partycjonowania, zachowanie shuffle, problem małych plików oraz wydajne przetwarzanie formatu Parquet.

Kurs porusza również typowe wyzwania związane z pracą w Pandasie, w tym ograniczenia pamięci i błędy przekroczenia pamięci (out-of-memory), wprowadzając Polarsa jako wysokowydajną alternatywę dla wybranych zadań przetwarzania danych. Dzięki ćwiczeniom praktycznym uczestnicy nauczą się diagnozować problemy z wydajnością i pamięcią, porównywać różne strategie konfiguracyjne oraz stosować techniki optymalizacji w realistycznych scenariuszach ETL i uczenia maszynowego.

Przez cały kurs kładziemy nacisk na praktyczne podejmowanie decyzji: rozumienie sposobów identyfikowania wąskich gardeł, wybierania odpowiednich narzędzi, efektywnej konfiguracji Sparka oraz utrzymywania równowagi między wydajnością a zużyciem zasobów infrastruktury i kosztami.

To szkolenie prowadzone przez instruktora na żywo w Polsce (online lub na miejscu) jest skierowane do inżynierów, którzy chcą skonfigurować i wdrożyć system Apache Spark do przetwarzania bardzo dużych ilości danych.

Pod koniec szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować Apache Spark.
• Szybko przetwarzać i analizować bardzo duże zbiory danych.
• Zrozumieć różnicę między Apache Spark a Hadoop MapReduce oraz kiedy używać którego z nich.
• Zintegrować Apache Spark z innymi narzędziami do uczenia maszynowego.

Trening prowadzony przez instruktora w języku Polsce (online lub stacjonarnie) jest przeznaczony dla administratorów systemów od poziomu początkującego do średniozaawansowanego, którzy chcą wdrożyć, utrzymywać i optymalizować klastry Spark.

Na zakończenie szkolenia uczestnicy będą potrafili:

• Instalować i konfigurować Apache Spark w różnych środowiskach.
• Zarządzać zasobami klastra oraz monitorować aplikacje Spark.
• Optymalizować wydajność klastrów Spark.
• Wdrażać mechanizmy bezpieczeństwa i zapewniać wysoką dostępność.
• Diagnostykować i rozwiązywać typowe problemy związane ze Sparkiem.

W tym prowadzonym przez instruktora, żywym szkoleniu w Polsce, uczestnicy dowiedzą się, jak korzystać z Pythona i Sparka jednocześnie do analizy dużych zbiorów danych, pracując nad ćwiczeniami praktycznymi.

Na zakończenie tego szkolenia uczestnicy będą potrafili:

• Poznać sposoby użycia Sparka z Pythonem do analizy dużych zbiorów danych.
• Wykonać ćwiczenia symulujące przypadki z rzeczywistego świata.
• Stosować różne narzędzia i techniki do analizy dużych zbiorów danych za pomocą PySpark.

To szkolenie prowadzone przez instruktora na żywo w Polsce (online lub na miejscu) jest skierowane do programistów, którzy chcą wykorzystywać i integrować Spark, Hadoop i Python do przetwarzania, analizy i transformacji dużych i złożonych zbiorów danych.

Pod koniec szkolenia uczestnicy będą mogli:

• Skonfigurować niezbędne środowisko do rozpoczęcia przetwarzania dużych zbiorów danych za pomocą Spark, Hadoop i Python.
• Zrozumieć funkcje, główne komponenty i architekturę Spark i Hadoop.
• Nauczyć się, jak integrować Spark, Hadoop i Python do przetwarzania dużych zbiorów danych.
• Poznać narzędzia w ekosystemie Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka i Flume).
• Budować systemy rekomendacji oparte na filtrowaniu współpracującym, podobne do tych używanych przez Netflix, YouTube, Amazon, Spotify i Google.
• Wykorzystać Apache Mahout do skalowania algorytmów uczenia maszynowego.