Szkolenia Big Data w podlaskie

To szkolenie prowadzone przez instruktora, na żywo w podlaskie (online lub na miejscu) jest skierowane do średnio zaawansowanych naukowców zajmujących się danymi oraz inżynierów, którzy chcą wykorzystać Google Colab i Apache Spark do przetwarzania i analizy dużych zbiorów danych.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Skonfigurować środowisko do pracy z dużymi danymi przy użyciu Google Colab i Spark.
• Efektywnie przetwarzać i analizować duże zbiory danych za pomocą Apache Spark.
• Wizualizować duże zbiory danych w środowisku współpracy.
• Integrować Apache Spark z narzędziami chmurowymi.

Stratio to platforma zorientowana na dane, która integruje big data, sztuczną inteligencję i zarządzanie w jednym rozwiązaniu. Jej moduły Rocket i Intelligence umożliwiają szybkie eksplorowanie, przekształcanie i zaawansowaną analizę danych w środowiskach przedsiębiorstw.

To szkolenie prowadzone przez instruktora (online lub na miejscu) jest skierowane do specjalistów od danych na poziomie średniozaawansowanym, którzy chcą efektywnie korzystać z modułów Rocket i Intelligence w Stratio z wykorzystaniem PySpark, koncentrując się na strukturach pętlowych, funkcjach zdefiniowanych przez użytkownika oraz zaawansowanej logice danych.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Poruszać się i pracować w platformie Stratio, korzystając z modułów Rocket i Intelligence.
• Stosować PySpark w kontekście pozyskiwania, przekształcania i analizy danych.
• Używać pętli i logiki warunkowej do kontrolowania przepływów danych i zadań inżynierii cech.
• Tworzyć i zarządzać funkcjami zdefiniowanymi przez użytkownika (UDF) do wielokrotnego wykorzystania operacji na danych w PySpark.

Format kursu

• Interaktywny wykład i dyskusja.
• Wiele ćwiczeń i praktyki.
• Praktyczna implementacja w środowisku live-lab.

Opcje dostosowania kursu

• Aby zamówić dostosowane szkolenie, skontaktuj się z nami w celu uzgodnienia szczegółów.

Przechowywanie danych to praktyka projektowania, budowania i zarządzania scentralizowanymi repozytoriami danych, które wspierają analizy, raportowanie i podejmowanie decyzji.

To szkolenie prowadzone przez instruktora (online lub na miejscu) jest skierowane do średnio zaawansowanych specjalistów ds. danych, którzy chcą modelować dane wymiarowe, budować solidne potoki ETL i optymalizować obciążenia analityczne.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Wyjaśnić kluczowe koncepcje i architektury związane z przechowywaniem danych.
• Projektować modele wymiarowe i wybierać między schematami gwiazdy a płatka śniegu.
• Budować i zarządzać niezawodnymi potokami ETL i ELT.
• Rozróżniać obciążenia OLTP i OLAP oraz optymalizować je pod kątem analiz.

Format kursu

• Interaktywne wykłady i dyskusje.
• Liczne ćwiczenia i praktyka.
• Praktyczna implementacja w środowisku live-lab.

Opcje dostosowania kursu

• Aby zamówić dostosowane szkolenie, prosimy o kontakt w celu uzgodnienia szczegółów.

Uczestnicy, którzy ukończą to szkolenie prowadzone przez instruktora w podlaskie, zdobędą praktyczną, rzeczywistą wiedzę na temat Big Data oraz powiązanych technologii, metodologii i narzędzi.

Uczestnicy będą mieli okazję zastosować tę wiedzę w praktyce poprzez ćwiczenia praktyczne. Interakcja w grupie i feedback od instruktora stanowią ważny element zajęć.

Kurs rozpoczyna się od wprowadzenia do podstawowych pojęć Big Data, następnie przechodzi do języków programowania i metodologii używanych do analizy danych. Na koniec omawiamy narzędzia i infrastrukturę umożliwiające przechowywanie Big Data, przetwarzanie rozproszone i skalowalność.

Greenplum to platforma danych typu open-source oparta na masowo równoległym przetwarzaniu (MPP), zaprojektowana do analiz i środowisk dużych zbiorów danych.

To szkolenie prowadzone przez instruktora na żywo (online lub na miejscu) jest skierowane do użytkowników technicznych na poziomie średniozaawansowanym i zaawansowanym, którzy chcą zrozumieć wewnętrzną architekturę Greenplum, budować zoptymalizowane modele danych i stosować wysokowydajny SQL w środowiskach rozproszonych.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Zrozumieć architekturę typu shared-nothing i model równoległości Greenplum.
• Projektować rozproszone struktury tabel i partycje zoptymalizowane pod kątem wydajności zapytań.
• Stosować strategie indeksowania, formaty przechowywania i techniki projektowania fizycznego.
• Interpretować plany EXPLAIN i optymalizować zapytania zgodnie z najlepszymi praktykami.

Format kursu

• Interaktywny wykład i dyskusja.
• Wiele ćwiczeń i praktyki.
• Praktyczna implementacja w środowisku live-lab.

Opcje dostosowania kursu

• Aby zamówić dostosowane szkolenie, skontaktuj się z nami w celu uzgodnienia szczegółów.

Greenplum to otwartoźródłowa platforma danych masowo równoległych oparta na PostgreSQL, zaprojektowana do zaawansowanej analizy i hurtowni danych na dużą skalę.

To szkolenie prowadzone przez instruktora na żywo (online lub na miejscu) jest skierowane do administratorów na poziomie średnio zaawansowanym, którzy chcą skutecznie instalować, konfigurować i zarządzać środowiskami Greenplum, w tym zarządzać aktualizacjami systemu i bibliotekami.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Instalować i konfigurować gotowy do produkcji klaster Greenplum.
• Zarządzać aktualizacjami systemu i bezpiecznie stosować łaty.
• Zarządzać bibliotekami Greenplum do analizy i rozszerzeń.
• Rozwiązywać problemy i monitorować systemy Greenplum.

Format kursu

• Interaktywny wykład i dyskusja.
• Praktyczne korzystanie z Greenplum w kontrolowanym środowisku laboratoryjnym.
• Prowadzone ćwiczenia skupiające się na konfiguracji klastra, procesach aktualizacji i rozszerzeniach systemu.

Opcje dostosowania kursu

• Aby zamówić dostosowane szkolenie do tego kursu na podstawie Twojego środowiska lub platformy danych, skontaktuj się z nami w celu uzgodnienia szczegółów.

To szkolenie prowadzone przez instruktora, na żywo w podlaskie (online lub na miejscu), jest skierowane do zaawansowanych specjalistów ds. danych, którzy chcą optymalizować przepływy pracy związane z przetwarzaniem danych, zapewnić integralność danych oraz wdrażać solidne rozwiązania typu data lakehouse, zdolne poradzić sobie ze złożonością współczesnych aplikacji big data.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Zdobyć dogłębną wiedzę na temat architektury Iceberg, w tym zarządzania metadanymi i układu plików.
• Skonfigurować Iceberg w celu uzyskania optymalnej wydajności w różnych środowiskach i zintegrować go z wieloma silnikami przetwarzania danych.
• Zarządzać tabelami Iceberg na dużą skalę, wprowadzać złożone zmiany schematów i zarządzać ewolucją partycji.
• Opanować techniki optymalizacji wydajności zapytań i efektywności skanowania danych dla dużych zbiorów danych.
• Wdrożyć mechanizmy zapewniające spójność danych, zarządzanie gwarancjami transakcyjnymi oraz obsługę awarii w środowiskach rozproszonych.

To szkolenie prowadzone przez instruktora, dostępne online lub na miejscu w podlaskie, jest skierowane do profesjonalistów zajmujących się danymi na poziomie początkującym, którzy chcą zdobyć wiedzę i umiejętności niezbędne do efektywnego wykorzystania Apache Iceberg do zarządzania dużymi zbiorami danych, zapewnienia integralności danych i optymalizacji przepływów pracy związanych z przetwarzaniem danych.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Zdobyć dogłębną wiedzę na temat architektury, funkcji i zalet Apache Iceberg.
• Poznać formaty tabel, partycjonowanie, ewolucję schematów oraz możliwości podróży w czasie.
• Zainstalować i skonfigurować Apache Iceberg w różnych środowiskach.
• Tworzyć, zarządzać i manipulować tabelami Iceberg.
• Zrozumieć proces migracji danych z innych formatów tabel do Iceberg.

To szkolenie prowadzone przez instruktora, na żywo w podlaskie (online lub na miejscu) jest skierowane do specjalistów IT na poziomie średniozaawansowanym, którzy chcą poszerzyć swoje umiejętności w zakresie architektury danych, zarządzania danymi, przetwarzania w chmurze oraz technologii Big Data, aby skutecznie zarządzać i analizować duże zbiory danych w celu migracji danych w swoich organizacjach.

Pod koniec szkolenia uczestnicy będą w stanie:

• Zrozumieć podstawowe koncepcje i komponenty różnych architektur danych.
• Zdobyć kompleksową wiedzę na temat zasad zarządzania danymi oraz ich znaczenia w środowiskach regulacyjnych.
• Wdrażać i zarządzać frameworkami zarządzania danymi, takimi jak Dama i Togaf.
• Wykorzystywać platformy chmurowe do efektywnego przechowywania, przetwarzania i zarządzania danymi.

To szkolenie prowadzone przez instruktora na żywo w podlaskie (online lub na miejscu) jest skierowane do inżynierów danych na poziomie średnio zaawansowanym, którzy chcą nauczyć się, jak używać Azure Data Lake Storage Gen2 do efektywnych rozwiązań analitycznych.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Zrozumieć architekturę i kluczowe funkcje Azure Data Lake Storage Gen2.
• Optymalizować przechowywanie i dostęp do danych pod kątem kosztów i wydajności.
• Integrować Azure Data Lake Storage Gen2 z innymi usługami Azure do analizy i przetwarzania danych.
• Tworzyć rozwiązania przy użyciu interfejsu API Azure Data Lake Storage Gen2.
• Rozwiązywać typowe problemy i optymalizować strategie przechowywania.

To szkolenie prowadzone przez instruktora na żywo w podlaskie (online lub na miejscu) jest skierowane do programistów, którzy chcą wykorzystywać i integrować Spark, Hadoop i Python do przetwarzania, analizy i transformacji dużych i złożonych zbiorów danych.

Pod koniec szkolenia uczestnicy będą mogli:

• Skonfigurować niezbędne środowisko do rozpoczęcia przetwarzania dużych zbiorów danych za pomocą Spark, Hadoop i Python.
• Zrozumieć funkcje, główne komponenty i architekturę Spark i Hadoop.
• Nauczyć się, jak integrować Spark, Hadoop i Python do przetwarzania dużych zbiorów danych.
• Poznać narzędzia w ekosystemie Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka i Flume).
• Budować systemy rekomendacji oparte na filtrowaniu współpracującym, podobne do tych używanych przez Netflix, YouTube, Amazon, Spotify i Google.
• Wykorzystać Apache Mahout do skalowania algorytmów uczenia maszynowego.

Big Data i Zaawansowana Analiza Danych to zastosowanie zaawansowanych technik i narzędzi do analizy dużych, złożonych zbiorów danych w celu uzyskania praktycznych wniosków i podejmowania strategicznych decyzji.

To szkolenie prowadzone przez instruktora, na żywo (online lub na miejscu) jest skierowane do zaawansowanych specjalistów ds. danych, którzy chcą wykorzystać najnowocześniejsze metody analityczne i technologie big data do analizy predykcyjnej, preskrypcyjnej i w czasie rzeczywistym.

Po zakończeniu szkolenia uczestnicy będą w stanie:

• Projektować i wdrażać potoki przetwarzania danych na dużą skalę dla danych strukturalnych i niestrukturalnych.
• Stosować zaawansowane techniki uczenia maszynowego i głębokiego uczenia do ogromnych zbiorów danych.
• Wykorzystywać rozproszone frameworki obliczeniowe do analizy w czasie rzeczywistym i przetwarzania strumieniowego.
• Integrować analizę big data z systemami business intelligence i podejmowania decyzji.

Format kursu

• Interaktywne wykłady i dyskusje.
• Dużo ćwiczeń i praktyki.
• Praktyczna implementacja w środowisku live-lab.

Opcje dostosowania kursu

• Aby zamówić dostosowane szkolenie dla tego kursu, prosimy o kontakt w celu ustalenia szczegółów.

To szkolenie prowadzone przez instruktora na żywo w podlaskie (online lub na miejscu) jest skierowane do średniozaawansowanych specjalistów IT, którzy chcą zdobyć kompleksową wiedzę na temat IBM DataStage z perspektywy zarówno administracyjnej, jak i programistycznej, umożliwiając im skuteczne zarządzanie i wykorzystywanie tego narzędzia w swoich miejscach pracy.

Po zakończeniu szkolenia uczestnicy będą w stanie:

• Zrozumieć podstawowe koncepcje DataStage.
• Nauczyć się, jak skutecznie instalować, konfigurować i zarządzać środowiskami DataStage.
• Łączyć się z różnymi źródłami danych i efektywnie ekstrahować dane z baz danych, plików płaskich i źródeł zewnętrznych.
• Wdrażać skuteczne techniki ładowania danych.

To szkolenie prowadzone przez instruktora, na żywo w podlaskie (online lub na miejscu) jest skierowane do administratorów systemów na poziomie podstawowym i średniozaawansowanym, którzy chcą wdrażać, utrzymywać i optymalizować klastry Spark.

Pod koniec szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować Apache Spark w różnych środowiskach.
• Zarządzać zasobami klastra i monitorować aplikacje Spark.
• Optymalizować wydajność klastrów Spark.
• Wdrażaæ środki bezpieczeństwa i zapewniać wysoką dostępność.
• Debugować i rozwiązywać typowe problemy związane z Spark.

Uczestnicy, którzy ukończą to szkolenie prowadzone przez instruktora na żywo w podlaskie, zdobędą praktyczne, rzeczywiste zrozumienie Big Data oraz związanych z nim technologii, metodologii i narzędzi.

Uczestnicy będą mieli okazję zastosować tę wiedzę w praktyce poprzez ćwiczenia praktyczne. Interakcja w grupie i feedback od instruktora stanowią ważny element zajęć.

Kurs rozpoczyna się od wprowadzenia do podstawowych pojęć Big Data, a następnie przechodzi do języków programowania i metodologii używanych do przeprowadzania analizy danych. Na końcu omawiamy narzędzia i infrastrukturę umożliwiające przechowywanie Big Data, przetwarzanie rozproszone i skalowalność.

Podczas tego szkolenia prowadzonego przez instruktora na żywo w podlaskie, uczestnicy nauczą się, jak używać Pythona i Sparka razem do analizy dużych zbiorów danych, pracując nad praktycznymi ćwiczeniami.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Nauczyć się, jak używać Sparka z Pythonem do analizy dużych zbiorów danych.
• Pracować nad ćwiczeniami, które odzwierciedlają rzeczywiste przypadki.
• Stosować różne narzędzia i techniki do analizy dużych zbiorów danych za pomocą PySpark.

Grupa docelowa:

Kurs jest przeznaczony dla specjalistów IT poszukujących rozwiązania do przechowywania i przetwarzania dużych zbiorów danych w środowisku systemów rozproszonych.

Cel:

Pogłębienie wiedzy na temat administracji klastrem Hadoop.

Postęp technologiczny i rosnąca ilość informacji zmieniają sposób prowadzenia biznesu w wielu branżach, w tym w sektorze rządowym. Tempo generowania danych przez rząd i ich cyfrowe archiwizowanie rośnie w związku z szybkim rozwojem urządzeń i aplikacji mobilnych, inteligentnych czujników i urządzeń, rozwiązań chmurowych oraz portali dla obywateli. W miarę jak informacje cyfrowe rozszerzają się i stają się bardziej złożone, zarządzanie, przetwarzanie, przechowywanie, bezpieczeństwo i utylizacja danych również stają się bardziej skomplikowane. Nowe narzędzia do pozyskiwania, wyszukiwania, odkrywania i analizy pomagają organizacjom czerpać wnioski z ich nieustrukturyzowanych danych. Rynek rządowy znajduje się w punkcie zwrotnym, uświadamiając sobie, że informacje są strategicznym aktywem, a rząd musi chronić, wykorzystywać i analizować zarówno dane strukturalne, jak i nieustrukturyzowane, aby lepiej służyć i spełniać wymagania misji. W miarę jak liderzy rządowi dążą do przekształcenia organizacji w oparte na danych, aby skutecznie realizować misje, kładą podwaliny pod korelację zależności między zdarzeniami, ludźmi, procesami i informacjami.

Wysokowartościowe rozwiązania rządowe będą tworzone z połączenia najbardziej innowacyjnych technologii:

• Urządzenia i aplikacje mobilne
• Usługi chmurowe
• Technologie społecznościowe i sieciowe
• Big Data i analityka

Big Data to jedno z inteligentnych rozwiązań przemysłowych, które pozwala rządowi podejmować lepsze decyzje, działając na podstawie wzorców ujawnionych przez analizę dużych ilości danych – powiązanych i niepowiązanych, strukturalnych i nieustrukturyzowanych.

Jednak osiągnięcie tych celów wymaga znacznie więcej niż tylko gromadzenia ogromnych ilości danych. „Zrozumienie tych ilości Big Data wymaga najnowocześniejszych narzędzi i technologii, które mogą analizować i wydobywać użyteczną wiedzę z ogromnych i różnorodnych strumieni informacji” – napisali Tom Kalil i Fen Zhao z Biura Polityki Naukowej i Technologicznej Białego Domu w poście na blogu OSTP.

Biały Dom podjął krok w kierunku pomocy agencjom w znalezieniu tych technologii, ustanawiając w 2012 roku Narodową Inicjatywę Badawczo-Rozwojową Big Data. Inicjatywa ta obejmowała ponad 200 milionów dolarów na maksymalne wykorzystanie eksplozji Big Data i narzędzi potrzebnych do jej analizy.

Wyzwania, jakie stawia Big Data, są niemal tak zniechęcające, jak obiecujące są jej perspektywy. Jednym z tych wyzwań jest efektywne przechowywanie danych. Jak zawsze, budżety są ograniczone, więc agencje muszą minimalizować koszt przechowywania na megabajt i zapewnić łatwy dostęp do danych, aby użytkownicy mogli je uzyskać, kiedy chcą i w potrzebnej formie. Tworzenie kopii zapasowych ogromnych ilości danych dodatkowo zwiększa to wyzwanie.

Skuteczna analiza danych to kolejne duże wyzwanie. Wiele agencji wykorzystuje komercyjne narzędzia, które pozwalają im przeszukiwać góry danych, wykrywając trendy, które mogą pomóc im działać bardziej efektywnie. (Ostatnie badanie przeprowadzone przez MeriTalk wykazało, że federalni dyrektorzy IT uważają, że Big Data może pomóc agencjom zaoszczędzić ponad 500 miliardów dolarów, jednocześnie realizując cele misji.).

Niestandardowe narzędzia Big Data również pozwalają agencjom zaspokoić potrzebę analizy ich danych. Na przykład, Grupa Analityki Danych Obliczeniowych Oak Ridge National Laboratory udostępniła swój system analizy danych Piranha innym agencjom. System ten pomógł badaczom medycznym znaleźć związek, który może ostrzegać lekarzy o tętniakach aorty, zanim one wystąpią. Jest również używany do bardziej przyziemnych zadań, takich jak przeszukiwanie życiorysów w celu połączenia kandydatów z menedżerami ds. zatrudnienia.

Analiza danych dużych objętości obejmuje proces badania dużych ilości różnorodnych zestawów danych w celu odkrycia korelacji, ukrytych wzorców i innych użytecznych informacji.

Branża zdrowia generuje ogromne ilości złożonych, heterogenicznych danych medycznych i klinicznych. Zastosowanie analizy danych dużych objętości w danych zdrowotnych stwarza ogromny potencjał w uzyskiwaniu informacji mających na celu poprawę jakości opieki zdrowotnej. Jednak ogrom tych zbiorów danych stanowi duże wyzwanie w analizach i praktycznych zastosowaniach w środowisku klinicznym.

Podczas tego szkolenia prowadzonego przez instruktora (zdalnie), uczestnicy nauczą się, jak przeprowadzać analizę danych dużych objętości w dziedzinie zdrowia, przechodząc przez serię praktycznych ćwiczeń w laboratorium.

Pod koniec szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować narzędzia do analizy danych dużych objętości, takie jak Hadoop MapReduce i Spark
• Zrozumieć charakterystykę danych medycznych
• Zastosować techniki danych dużych objętości do pracy z danymi medycznymi
• Poznać systemy i algorytmy danych dużych objętości w kontekście zastosowań w zdrowiu

Grupa docelowa

• Programiści
• Analitycy danych

Format kursu

• Część wykładowa, część dyskusyjna, ćwiczenia i intensywna praktyka.

Uwaga

• Aby zamówić szkolenie dostosowane do potrzeb, prosimy o kontakt w celu uzgodnienia szczegółów.

Podczas tego szkolenia prowadzonego przez instruktora w podlaskie, uczestnicy nauczą się, jak podejść do technologii Big Data, ocenić ich wpływ na istniejące procesy i polityki oraz wdrożyć te technologie w celu identyfikacji działalności przestępczej i zapobiegania przestępczości. Przeanalizowane zostaną studia przypadków z organizacji ścigania na całym świecie, aby uzyskać wgląd w ich podejścia do adopcji, wyzwania i wyniki.

Pod koniec szkolenia uczestnicy będą mogli:

• Połączyć technologię Big Data z tradycyjnymi procesami gromadzenia danych, aby złożyć w całość historię podczas śledztwa.
• Wdrożyć przemysłowe rozwiązania do przechowywania i przetwarzania dużych zbiorów danych do analizy danych.
• Przygotować propozycję adopcji najbardziej odpowiednich narzędzi i procesów umożliwiających podejście oparte na danych w śledztwach kryminalnych.

Big Data to termin odnoszący się do rozwiązań przeznaczonych do przechowywania i przetwarzania dużych zbiorów danych. Rozwiązania te, początkowo opracowane przez Google, ewoluowały i zainspirowały inne podobne projekty, z których wiele jest dostępnych jako oprogramowanie open-source. R jest popularnym językiem programowania w branży finansowej.

Gdy tradycyjne technologie przechowywania danych nie radzą sobie z ilością danych, które musisz przechowywać, istnieją setki alternatyw. Ten kurs ma na celu pokazanie uczestnikom, jakie są alternatywy dla przechowywania i analizy dużych danych oraz jakie są ich zalety i wady.

Kurs skupia się głównie na dyskusji i prezentacji rozwiązań, choć ćwiczenia praktyczne są dostępne na życzenie.

To szkolenie prowadzone przez instruktora w podlaskie (online lub na miejscu) jest skierowane do profesjonalistów na poziomie podstawowym i średnio zaawansowanym, którzy chcą wykorzystać koncepcje big data i baz danych do zrozumienia nowoczesnych platform danych oraz podejmowania lepszych decyzji technologicznych i biznesowych.

Po zakończeniu szkolenia uczestnicy będą mogli: wyjaśnić podstawowe koncepcje baz danych i big data, porównać główne opcje platform danych, opisać, jak dane są przechowywane i przetwarzane, oraz zidentyfikować praktyczne przypadki użycia i potrzeby zarządzania.

Ta sesja szkoleniowa w formie zajęć stacjonarnych będzie poświęcona tematyce Big Data. Uczestnicy będą mieli okazję zapoznać się z przykładami na komputerach oraz wykonać ćwiczenia case study z wykorzystaniem odpowiednich narzędzi do przetwarzania dużych zbiorów danych.

Odbiorcy

Jeśli próbujesz zrozumieć dane, do których masz dostęp, lub chcesz analizować nieustrukturyzowane dane dostępne w internecie (np. Twitter, LinkedIn itp.), ten kurs jest dla Ciebie.

Jest on skierowany głównie do decydentów i osób, które muszą decydować, które dane warto zbierać, a które analizować.

Nie jest skierowany do osób konfigurujących rozwiązania, chociaż mogą one skorzystać z ogólnego obrazu.

Tryb prowadzenia

Podczas kursu uczestnicy zapoznają się z działającymi przykładami głównie technologii open source.

Krótkie wykłady będą połączone z prezentacjami i prostymi ćwiczeniami wykonywanymi przez uczestników.

Treść i wykorzystywane oprogramowanie

Wszystkie wykorzystywane oprogramowanie jest aktualizowane za każdym razem, gdy kurs jest prowadzony, więc korzystamy z najnowszych dostępnych wersji.

Kurs obejmuje proces od pozyskiwania, formatowania, przetwarzania i analizy danych, po wyjaśnienie, jak zautomatyzować proces decyzyjny za pomocą uczenia maszynowego.

Duże zbiory danych to zestawy danych tak obszerne i złożone, że tradycyjne oprogramowanie do przetwarzania danych jest niewystarczające, aby sobie z nimi poradzić. Wyzwania związane z dużymi zbiorami danych obejmują pozyskiwanie danych, przechowywanie, analizę, wyszukiwanie, udostępnianie, transfer, wizualizację, zapytania, aktualizację oraz prywatność informacji.

Apache Hadoop to najpopularniejsze framework do przetwarzania Big Data na klastrach serwerów. W tym trzydniowym (opcjonalnie czterodniowym) kursie uczestnicy dowiedzą się, jakie korzyści biznesowe i przypadki użycia oferuje Hadoop oraz jego ekosystem, jak planować wdrożenie i rozwój klastra, jak instalować, utrzymywać, monitorować, rozwiązywać problemy i optymalizować Hadoop. Będą również ćwiczyć masowe ładowanie danych do klastra, zapoznają się z różnymi dystrybucjami Hadoop oraz będą ćwiczyć instalację i zarządzanie narzędziami ekosystemu Hadoop. Kurs kończy się omówieniem zabezpieczania klastra za pomocą Kerberosa.

“…Materiały były bardzo dobrze przygotowane i szczegółowo omówione. Laboratorium było bardzo pomocne i dobrze zorganizowane”
— Andrew Nguyen, Główny Inżynier Integracji DW, Microsoft Online Advertising

Grupa docelowa

Administratorzy Hadoop

Format

Wykłady i praktyczne laboratoria, w przybliżeniu 60% wykładów, 40% laboratoriów.

Apache Hadoop to najbardziej popularne framework do przetwarzania Big Data na klastrach serwerów. Ten kurs wprowadzi programistę w różne komponenty (HDFS, MapReduce, Pig, Hive i HBase) ekosystemu Hadoop.

Apache Hadoop to jedna z najpopularniejszych platform do przetwarzania Big Data na klastrach serwerów. Ten kurs zagłębia się w zarządzanie danymi w HDFS oraz zaawansowane techniki pracy z Pig, Hive i HBase. Te zaawansowane techniki programowania będą korzystne dla doświadczonych programistów Hadoop.

Grupa docelowa: programiści

Czas trwania: trzy dni

Format: wykłady (50%) i warsztaty praktyczne (50%).

Grupa docelowa:

Ten kurs ma na celu demistyfikację technologii big data/hadoop i pokazanie, że nie jest trudna do zrozumienia.

To szkolenie prowadzone przez instruktora na żywo w podlaskie (online lub na miejscu) jest skierowane do administratorów systemów, którzy chcą nauczyć się, jak konfigurować, wdrażać i zarządzać klastrami Hadoop w swojej organizacji.

Pod koniec szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować Apache Hadoop.
• Zrozumieć cztery główne komponenty ekosystemu Hadoop: HDFS, MapReduce, YARN i Hadoop Common.
• Używać Hadoop Distributed File System (HDFS) do skalowania klastra do setek lub tysięcy węzłów.
• Skonfigurować HDFS jako silnik magazynowania dla lokalnych wdrożeń Spark.
• Skonfigurować Spark do korzystania z alternatywnych rozwiązań magazynowych, takich jak Amazon S3, oraz systemów bazodanowych NoSQL, takich jak Redis, Elasticsearch, Couchbase, Aerospike itp.
• Wykonywać zadania administracyjne, takie jak provisionowanie, zarządzanie, monitorowanie i zabezpieczanie klastra Apache Hadoop.

Ten kurs wprowadza HBase – magazyn NoSQL oparty na Hadoop. Kurs jest przeznaczony dla programistów, którzy będą używać HBase do tworzenia aplikacji, oraz administratorów, którzy będą zarządzać klastrami HBase.

Przeprowadzimy programistę przez architekturę HBase, modelowanie danych oraz rozwój aplikacji na HBase. Omówimy również użycie MapReduce z HBase oraz niektóre tematy administracyjne związane z optymalizacją wydajności. Kurs jest bardzo praktyczny, z wieloma ćwiczeniami laboratoryjnymi.

Czas trwania: 3 dni

Grupa docelowa: Programiści i administratorzy

W tym szkoleniu prowadzonym przez instruktora, na żywo w podlaskie (stacjonarnie lub zdalnie), uczestnicy nauczą się, jak skonfigurować i zintegrować różne frameworki do przetwarzania strumieniowego z istniejącymi systemami przechowywania danych big data oraz powiązanymi aplikacjami i mikrousługami.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować różne frameworki do przetwarzania strumieniowego, takie jak Spark Streaming i Kafka Streaming.
• Zrozumieć i wybrać najbardziej odpowiedni framework do danego zadania.
• Przetwarzać dane w sposób ciągły, równoległy i rekord po rekordzie.
• Zintegrować rozwiązania do przetwarzania strumieniowego z istniejącymi bazami danych, hurtowniami danych, jeziorami danych itp.
• Zintegrować najbardziej odpowiednią bibliotekę do przetwarzania strumieniowego z aplikacjami przedsiębiorstwa i mikrousługami.

To szkolenie prowadzone przez instruktora, na żywo w podlaskie (online lub na miejscu) jest skierowane do osób technicznych, które chcą nauczyć się, jak wdrożyć strategię uczenia maszynowego, maksymalnie wykorzystując dane big data.

Pod koniec tego szkolenia uczestnicy:

• Zrozumieją ewolucję i trendy w uczeniu maszynowym.
• Dowiedzą się, jak uczenie maszynowe jest wykorzystywane w różnych branżach.
• Zapoznają się z narzędziami, umiejętnościami i usługami dostępnymi do wdrożenia uczenia maszynowego w organizacji.
• Zrozumieją, jak uczenie maszynowe może poprawić wydobywanie i analizę danych.
• Dowiedzą się, czym jest backend danych i jak jest wykorzystywany przez firmy.
• Zrozumieją rolę, jaką odgrywają big data i inteligentne aplikacje w różnych branżach.

Apache NiFi to platforma do integracji danych i przetwarzania zdarzeń oparta na przepływach, dostępna jako oprogramowanie open-source. Umożliwia automatyczne, w czasie rzeczywistym, routowanie, transformację i mediację danych między różnymi systemami, oferując interfejs webowy oraz szczegółową kontrolę.

To szkolenie prowadzone przez instruktora (na miejscu lub zdalnie) jest skierowane do administratorów i inżynierów na poziomie średniozaawansowanym, którzy chcą wdrażać, zarządzać, zabezpieczać i optymalizować przepływy danych NiFi w środowiskach produkcyjnych.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Instalować, konfigurować i utrzymywać klastry Apache NiFi.
• Projektować i zarządzać przepływami danych z różnych źródeł i miejsc docelowych.
• Implementować automatyzację przepływów, routowanie i logikę transformacji.
• Optymalizować wydajność, monitorować operacje i rozwiązywać problemy.

Format kursu

• Interaktywny wykład z omówieniem architektury w oparciu o rzeczywiste przypadki.
• Praktyczne laboratoria: budowanie, wdrażanie i zarządzanie przepływami.
• Ćwiczenia oparte na scenariuszach w środowisku live-lab.

Opcje dostosowania kursu

• Aby zamówić dostosowane szkolenie, prosimy o kontakt w celu uzgodnienia szczegółów.

W tym szkoleniu prowadzonym przez instruktora, uczestnicy nauczą się podstaw programowania opartego na przepływie, tworząc szereg demonstracyjnych rozszerzeń, komponentów i procesorów przy użyciu Apache NiFi.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Zrozumieć architekturę NiFi oraz koncepcje przepływu danych.
• Tworzyć rozszerzenia przy użyciu NiFi i zewnętrznych API.
• Samodzielnie opracować własny procesor Apache NiFi.
• Pozyskiwać i przetwarzać dane w czasie rzeczywistym z różnych i nietypowych formatów plików oraz źródeł danych.

Szkolenie to zapewnia praktyczne wprowadzenie do budowania skalowalnych procesów przetwarzania danych i przepływów pracy w zakresie uczenia maszynowego przy użyciu PySpark. Uczestnicy dowiedzą się, jak Apache Spark działa w ramach nowoczesnych ekosystemów Big Data oraz jak efektywnie przetwarzać duże zbiory danych, korzystając z zasad obliczeń rozproszonych.

To szkolenie prowadzone przez instruktora na żywo w podlaskie (online lub na miejscu) jest skierowane do data scientistów, którzy chcą wykorzystać stos SMACK do budowy platform przetwarzania danych dla rozwiązań big data.

Pod koniec szkolenia uczestnicy będą w stanie:

• Zaimplementować architekturę potoku danych do przetwarzania big data.
• Rozwinąć infrastrukturę klastrową z wykorzystaniem Apache Mesos i Dockera.
• Analizować dane za pomocą Spark i Scala.
• Zarządzać danymi niestrukturyzowanymi za pomocą Apache Cassandra.

To szkolenie prowadzone przez instruktora na żywo w podlaskie (online lub na miejscu) jest skierowane do inżynierów, którzy chcą skonfigurować i wdrożyć system Apache Spark do przetwarzania bardzo dużych ilości danych.

Pod koniec szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować Apache Spark.
• Szybko przetwarzać i analizować bardzo duże zbiory danych.
• Zrozumieć różnicę między Apache Spark a Hadoop MapReduce oraz kiedy używać którego z nich.
• Zintegrować Apache Spark z innymi narzędziami do uczenia maszynowego.

Krzywa uczenia się Apache Spark na początku rośnie powoli, wymaga wiele wysiłku, aby uzyskać pierwsze rezultaty. Ten kurs ma na celu przeskoczenie przez tę trudną początkową fazę. Po ukończeniu tego kursu uczestnicy zrozumieją podstawy Apache Spark, będą wyraźnie rozróżniać RDD od DataFrame, nauczą się korzystać z API Pythona i Scali, zrozumieją rolę executorów i zadań itp. Ponadto, zgodnie z najlepszymi praktykami, kurs silnie koncentruje się na wdrożeniu w chmurze, Databricks i AWS. Uczestnicy zrozumieją również różnice między AWS EMR a AWS Glue, jednym z najnowszych usług Spark oferowanych przez AWS.

PUBLICZNOŚĆ:

Inżynierowie danych, DevOps, Data Scientist

CELE:

Ten kurs wprowadzi uczestników w Apache Spark. Uczestnicy dowiedzą się, jak Spark wpisuje się w ekosystem Big Data oraz jak wykorzystywać Sparka do analizy danych. Kurs obejmuje powłokę Spark do interaktywnej analizy danych, wewnętrzne mechanizmy Sparka, interfejsy API Sparka, Spark SQL, przetwarzanie strumieniowe w Sparku, a także uczenie maszynowe i GraphX.

ADRESACI:

Programiści / Analitycy danych

To szkolenie prowadzone przez instruktora, na żywo w podlaskie (online lub na miejscu) jest skierowane do naukowców zajmujących się danymi oraz programistów, którzy chcą używać Spark NLP, zbudowanego na bazie Apache Spark, do opracowywania, wdrażania i skalowania modeli oraz potoków przetwarzania tekstu w języku naturalnym.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Skonfigurować niezbędne środowisko programistyczne do rozpoczęcia budowania potoków NLP z użyciem Spark NLP.
• Zrozumieć funkcje, architekturę i korzyści wynikające z używania Spark NLP.
• Wykorzystać wstępnie wytrenowane modele dostępne w Spark NLP do implementacji przetwarzania tekstu.
• Nauczyć się, jak budować, trenować i skalować modele Spark NLP dla projektów produkcyjnych.
• Stosować klasyfikację, wnioskowanie i analizę sentymentu w rzeczywistych przypadkach użycia (dane kliniczne, analiza zachowań klientów itp.).

Spark SQL to moduł Apache Spark do pracy ze strukturalnymi i niestrukturalnymi danymi. Spark SQL dostarcza informacji o strukturze danych oraz o wykonywanych obliczeniach. Informacje te mogą być wykorzystane do optymalizacji. Dwa najczęstsze zastosowania Spark SQL to:
- wykonywanie zapytań SQL.
- odczytywanie danych z istniejącej instalacji Hive.

W tym szkoleniu prowadzonym przez instruktora (na miejscu lub zdalnie), uczestnicy nauczą się, jak analizować różne typy zbiorów danych za pomocą Spark SQL.

Pod koniec szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować Spark SQL.
• Wykonywać analizę danych za pomocą Spark SQL.
• Przeprowadzać zapytania na zbiorach danych w różnych formatach.
• Wizualizować dane i wyniki zapytań.

Format kursu

• Interaktywny wykład i dyskusja.
• Wiele ćwiczeń i praktyki.
• Praktyczna implementacja w środowisku live-lab.

Opcje dostosowania kursu

• Aby zamówić dostosowane szkolenie z tego kursu, prosimy o kontakt w celu ustalenia szczegółów.

To szkolenie prowadzone przez instruktora, na żywo w podlaskie (online lub na miejscu) jest skierowane do osób technicznych, które chcą wdrożyć Talend Open Studio for Big Data w celu uproszczenia procesu odczytywania i przetwarzania dużych zbiorów danych.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować Talend Open Studio for Big Data.
• Połączyć się z systemami Big Data, takimi jak Cloudera, HortonWorks, MapR, Amazon EMR i Apache.
• Zrozumieć i skonfigurować komponenty i złącza Big Data w Open Studio.
• Skonfigurować parametry do automatycznego generowania kodu MapReduce.
• Wykorzystać interfejs typu drag-and-drop w Open Studio do uruchamiania zadań Hadoop.
• Tworzyć prototypy potoków danych Big Data.
• Automatyzować projekty integracji danych Big Data.