Szkolenia Big Data w Gdańsk

To szkolenie prowadzone przez instruktora, na żywo w Gdańsk (online lub na miejscu) jest skierowane do średnio zaawansowanych naukowców zajmujących się danymi oraz inżynierów, którzy chcą wykorzystać Google Colab i Apache Spark do przetwarzania i analizy dużych zbiorów danych.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Skonfigurować środowisko do pracy z dużymi danymi przy użyciu Google Colab i Spark.
• Efektywnie przetwarzać i analizować duże zbiory danych za pomocą Apache Spark.
• Wizualizować duże zbiory danych w środowisku współpracy.
• Integrować Apache Spark z narzędziami chmurowymi.

Stratio to platforma centrowana na danych, która integruje big data, sztuczną inteligencję i zarządzanie w jedno rozwiązanie. Jej moduły Rocket i Intelligence umożliwiają szybkie eksplorowanie, transformację i zaawansowaną analitykę danych w środowiskach korporacyjnych.

To szkolenie prowadzone przez instruktora (online lub stacjonarnie) jest skierowane do profesjonalistów danych na poziomie średnim, którzy chcą efektywnie wykorzystywać moduły Rocket i Intelligence w Stratio z użyciem PySpark, skupiając się na strukturach pętli, funkcjach zdefiniowanych przez użytkownika oraz zaawansowanej logice danych.

Na koniec tego szkolenia uczestnicy będą w stanie:

• Poruszać się i pracować w platformie Stratio za pomocą modułów Rocket i Intelligence.
• Zastosować PySpark w kontekście wczytywania, transformacji i analizy danych.
• Używać pętli i logiki warunkowej do kontrolowania przepływu danych i zadań inżynierii cech.
• Tworzyć i zarządzać funkcjami zdefiniowanymi przez użytkownika (UDF) do powtarzalnych operacji danych w PySpark.

Format kursu

• Interaktywne wykłady i dyskusje.
• Dużo ćwiczeń i praktyki.
• Ręczne wdrożenie w środowisku live-lab.

Opcje dostosowania kursu

• Aby poprosić o dostosowane szkolenie dla tego kursu, skontaktuj się z nami w celu ustalenia szczegółów.

Przechowywanie danych to praktyka projektowania, budowania i zarządzania scentralizowanymi repozytoriami danych, które wspierają analizy, raportowanie i podejmowanie decyzji.

To szkolenie prowadzone przez instruktora (online lub na miejscu) jest skierowane do średnio zaawansowanych specjalistów ds. danych, którzy chcą modelować dane wymiarowe, budować solidne potoki ETL i optymalizować obciążenia analityczne.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Wyjaśnić kluczowe koncepcje i architektury związane z przechowywaniem danych.
• Projektować modele wymiarowe i wybierać między schematami gwiazdy a płatka śniegu.
• Budować i zarządzać niezawodnymi potokami ETL i ELT.
• Rozróżniać obciążenia OLTP i OLAP oraz optymalizować je pod kątem analiz.

Format kursu

• Interaktywne wykłady i dyskusje.
• Liczne ćwiczenia i praktyka.
• Praktyczna implementacja w środowisku live-lab.

Opcje dostosowania kursu

• Aby zamówić dostosowane szkolenie, prosimy o kontakt w celu uzgodnienia szczegółów.

Uczestnicy, którzy ukończą to prowadzone przez instruktora szkolenie na żywo w Gdańsk, zdobędą praktyczne, rzeczywiste zrozumienie Big Data i powiązanych z nim technologii, metodologii i narzędzi.

Uczestnicy będą mieli okazję wykorzystać tę wiedzę w praktyce poprzez praktyczne ćwiczenia. Interakcja w grupie i informacje zwrotne od instruktora stanowią ważny element zajęć.

Kurs rozpoczyna się od wprowadzenia do podstawowych koncepcji Big Data, a następnie przechodzi do języków programowania i metodologii wykorzystywanych do realizacji Data Analysis. Na koniec omawiamy narzędzia i infrastrukturę, które umożliwiają Big Data przechowywanie, przetwarzanie rozproszone i Scala bility.

Greenplum jest platformą open-source o masowym równoległym przetwarzaniu (MPP) zaprojektowaną do analiz i dużych środowisk danych.

To szkolenie prowadzone przez instruktora (online lub na miejscu) jest skierowane do użytkowników technicznych na poziomie średnim do zaawansowanym, którzy chcą zrozumieć wewnętrzną architekturę Greenplum, budować optymalizowane modele danych i stosować wysokowydajne SQL w środowiskach rozproszonych.

Na koniec tego szkolenia uczestnicy będą mogli:

• Zrozumieć architekturę shared-nothing i model równoległości Greenplum.
• Projektować strukturę tabel rozproszonych i partycji optymalizowanych pod kątem wydajności zapytań.
• Używać strategii indeksowania, formatów przechowywania i technik projektowania fizycznego.
• Interpretować plany EXPLAIN i optymalizować zapytania z zastosowaniem najlepszych praktyk.

Format kursu

• Interaktywne wykłady i dyskusje.
• Dużo ćwiczeń i praktyki.
• Ręczna implementacja w środowisku laboratoryjnym.

Opcje dostosowania kursu

• Aby poprosić o dostosowanie szkolenia dla tego kursu, prosimy o kontakt z nami w celu uzgodnienia.

Greenplum to otwartoźródłowa platforma danych masowo równoległych oparta na PostgreSQL, zaprojektowana do zaawansowanej analizy i hurtowni danych na dużą skalę.

To szkolenie prowadzone przez instruktora na żywo (online lub na miejscu) jest skierowane do administratorów na poziomie średnio zaawansowanym, którzy chcą skutecznie instalować, konfigurować i zarządzać środowiskami Greenplum, w tym zarządzać aktualizacjami systemu i bibliotekami.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Instalować i konfigurować gotowy do produkcji klaster Greenplum.
• Zarządzać aktualizacjami systemu i bezpiecznie stosować łaty.
• Zarządzać bibliotekami Greenplum do analizy i rozszerzeń.
• Rozwiązywać problemy i monitorować systemy Greenplum.

Format kursu

• Interaktywny wykład i dyskusja.
• Praktyczne korzystanie z Greenplum w kontrolowanym środowisku laboratoryjnym.
• Prowadzone ćwiczenia skupiające się na konfiguracji klastra, procesach aktualizacji i rozszerzeniach systemu.

Opcje dostosowania kursu

• Aby zamówić dostosowane szkolenie do tego kursu na podstawie Twojego środowiska lub platformy danych, skontaktuj się z nami w celu uzgodnienia szczegółów.

To szkolenie prowadzone przez instruktora w Gdańsk (online lub stacjonarne) jest skierowane do zaawansowanych profesjonalistów ds. danych, którzy chcą optymalizować przepływy przetwarzania danych, zapewniać integralność danych i wdrażać solidne rozwiązania lakehouse danych, które mogą sprostać złożoności współczesnych aplikacji big data.

Po zakończeniu tego szkolenia uczestnicy będą w stanie:

• Nabyć wnikliwą wiedzę o architekturze Iceberg, w tym zarządzanie metadanych i układ plików.
• Skonfigurować Iceberg dla optymalnej wydajności w różnych środowiskach i zintegrować go z wieloma silnikami przetwarzania danych.
• Zarządzać dużymi tabelami Iceberg, wykonywać złożone zmiany schematów i obsługiwać ewolucję podziałów.
• Opanować techniki optymalizacji wydajności zapytań i skanowania danych dla dużych zestawów danych.
• Wdrożyć mechanizmy zapewniające spójność danych, zarządzać gwarancjami transakcyjnymi i obsługiwać awarie w rozproszonych środowiskach.

To szkolenie prowadzone przez instruktora, dostępne online lub na miejscu w Gdańsk, jest skierowane do profesjonalistów zajmujących się danymi na poziomie początkującym, którzy chcą zdobyć wiedzę i umiejętności niezbędne do efektywnego wykorzystania Apache Iceberg do zarządzania dużymi zbiorami danych, zapewnienia integralności danych i optymalizacji przepływów pracy związanych z przetwarzaniem danych.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Zdobyć dogłębną wiedzę na temat architektury, funkcji i zalet Apache Iceberg.
• Poznać formaty tabel, partycjonowanie, ewolucję schematów oraz możliwości podróży w czasie.
• Zainstalować i skonfigurować Apache Iceberg w różnych środowiskach.
• Tworzyć, zarządzać i manipulować tabelami Iceberg.
• Zrozumieć proces migracji danych z innych formatów tabel do Iceberg.

To szkolenie prowadzone przez instruktora, na żywo w Gdańsk (online lub na miejscu) jest skierowane do specjalistów IT na poziomie średniozaawansowanym, którzy chcą poszerzyć swoje umiejętności w zakresie architektury danych, zarządzania danymi, przetwarzania w chmurze oraz technologii Big Data, aby skutecznie zarządzać i analizować duże zbiory danych w celu migracji danych w swoich organizacjach.

Pod koniec szkolenia uczestnicy będą w stanie:

• Zrozumieć podstawowe koncepcje i komponenty różnych architektur danych.
• Zdobyć kompleksową wiedzę na temat zasad zarządzania danymi oraz ich znaczenia w środowiskach regulacyjnych.
• Wdrażać i zarządzać frameworkami zarządzania danymi, takimi jak Dama i Togaf.
• Wykorzystywać platformy chmurowe do efektywnego przechowywania, przetwarzania i zarządzania danymi.

To szkolenie prowadzone przez instruktora na żywo w Gdańsk (online lub na miejscu) jest skierowane do inżynierów danych na poziomie średnio zaawansowanym, którzy chcą nauczyć się, jak używać Azure Data Lake Storage Gen2 do efektywnych rozwiązań analitycznych.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Zrozumieć architekturę i kluczowe funkcje Azure Data Lake Storage Gen2.
• Optymalizować przechowywanie i dostęp do danych pod kątem kosztów i wydajności.
• Integrować Azure Data Lake Storage Gen2 z innymi usługami Azure do analizy i przetwarzania danych.
• Tworzyć rozwiązania przy użyciu interfejsu API Azure Data Lake Storage Gen2.
• Rozwiązywać typowe problemy i optymalizować strategie przechowywania.

To szkolenie prowadzone przez instruktora na żywo w Gdańsk (online lub na miejscu) jest skierowane do programistów, którzy chcą wykorzystywać i integrować Spark, Hadoop i Python do przetwarzania, analizy i transformacji dużych i złożonych zbiorów danych.

Pod koniec szkolenia uczestnicy będą mogli:

• Skonfigurować niezbędne środowisko do rozpoczęcia przetwarzania dużych zbiorów danych za pomocą Spark, Hadoop i Python.
• Zrozumieć funkcje, główne komponenty i architekturę Spark i Hadoop.
• Nauczyć się, jak integrować Spark, Hadoop i Python do przetwarzania dużych zbiorów danych.
• Poznać narzędzia w ekosystemie Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka i Flume).
• Budować systemy rekomendacji oparte na filtrowaniu współpracującym, podobne do tych używanych przez Netflix, YouTube, Amazon, Spotify i Google.
• Wykorzystać Apache Mahout do skalowania algorytmów uczenia maszynowego.

Big Data i Zaawansowana Analiza Danych to zastosowanie zaawansowanych technik i narzędzi do analizy dużych, skomplikowanych zbiorów danych w celu uzyskania przydatnych wniosków i podejmowania strategicznych decyzji.

To szkolenie prowadzone przez instruktora (online lub na miejscu) jest skierowane do zaawansowanych specjalistów ds. danych, którzy chcą wykorzystać najnowsze metody analityczne i technologie big data do analizy przewidywania, preskrypcyjnej i w czasie rzeczywistym.

Po ukończeniu tego szkolenia uczestnicy będą w stanie:

• Projektować i wdrażać duże procesy przetwarzania danych dla danych strukturowanych i nieskutururowanych.
• Zastosować zaawansowane techniki uczenia maszynowego i głębokiego uczenia do masowych zbiorów danych.
• Wykorzystać ramy obliczeń rozproszonych do analiz w czasie rzeczywistym i strumieni danych.
• Zintegrować analizę big data z systemami biznesu inteligentnego i podejmowania decyzji.

Format kursu

• Interaktywne wykłady i dyskusje.
• Wiele ćwiczeń i praktyki.
• Ręczne wdrażanie w środowisku laboraorium na żywo.

Opcje dostosowania kursu

• Aby złożyć wniosek o dostosowane szkolenie dla tego kursu, prosimy o kontakt w celu ustalenia szczegółów.

To szkolenie prowadzone przez instruktora na żywo w Gdańsk (online lub na miejscu) jest skierowane do średniozaawansowanych specjalistów IT, którzy chcą zdobyć kompleksową wiedzę na temat IBM DataStage z perspektywy zarówno administracyjnej, jak i programistycznej, umożliwiając im skuteczne zarządzanie i wykorzystywanie tego narzędzia w swoich miejscach pracy.

Po zakończeniu szkolenia uczestnicy będą w stanie:

• Zrozumieć podstawowe koncepcje DataStage.
• Nauczyć się, jak skutecznie instalować, konfigurować i zarządzać środowiskami DataStage.
• Łączyć się z różnymi źródłami danych i efektywnie ekstrahować dane z baz danych, plików płaskich i źródeł zewnętrznych.
• Wdrażać skuteczne techniki ładowania danych.

To szkolenie prowadzone przez instruktora w Gdańsk (online lub na miejscu) jest skierowane do administratorów systemów na poziomie początkującego do średniozaawansowanego, którzy chcą wdrażać, utrzymywać i optymalizować klastery Spark.

Po zakończeniu tego szkolenia uczestnicy będą w stanie:

• Instalować i konfigurować Apache Spark w różnych środowiskach.
• Zarządzać zasobami klastra i monitorować aplikacje Spark.
• Optymalizować wydajność klastrów Spark.
• Wdrażać środki zabezpieczające i zapewniać wysoką dostępność.
• Diagnozować i rozwiązywać typowe problemy związane z Spark.

Uczestnicy, którzy ukończą to prowadzone przez instruktora szkolenie na żywo w Gdańsk zdobędą praktyczne, rzeczywiste zrozumienie Big Data i powiązanych z nim technologii, metodologii i narzędzi.

Uczestnicy będą mieli okazję wykorzystać tę wiedzę w praktyce poprzez praktyczne ćwiczenia. Interakcja w grupie i informacje zwrotne od instruktora stanowią ważny element zajęć.

Kurs rozpoczyna się od wprowadzenia do podstawowych koncepcji Big Data, a następnie przechodzi do języków programowania i metodologii wykorzystywanych do analizy danych. Na koniec omawiamy narzędzia i infrastrukturę, które umożliwiają przechowywanie Big Data, przetwarzanie rozproszone i Scalability.

W tym prowadzonym przez instruktora szkoleniu na żywo w Gdańsk uczestnicy dowiedzą się, jak używać Python i Spark razem do analizy dużych zbiorów danych podczas pracy nad ćwiczeniami praktycznymi.

Pod koniec tego szkolenia uczestnicy będą mogli:

• Dowiedzieć się, jak używać Sparka z Python do analizy Big Data.
• Pracować nad ćwiczeniami, które naśladują rzeczywiste przypadki.
• Używać różnych narzędzi i technik do analizy dużych zbiorów danych przy użyciu PySpark.

Głównym celem szkolenia jest zdobycie wiedzy z administracji systemem Apache Hadoop w środowiskach MapReduce oraz YARN na poziomie zaawansowanym. Tematyka szkolenia dotyczy w głównej mierze architektury systemu Hadoop, a w szczególności systemu plików HDFS oraz modeli programistycznych MapReduce i YARN oraz zagadnień związanych z planowaniem, instalacją, konfiguracją, administracją, zarządzaniem i monitorowaniem klastra systemu Hadoop. Pozostałe zagadnienia związane z tematyką BigData takie jak HBase, Cassandra, Impala, Pig, Hiver oraz Sqoop są również omówione, choć pobieżnie. Kurs przeznaczony jest w głównej mierze do specjalistów z branży IT, którzy chcą przygotować się i zdać egzamin CCAH (Cloudera Certified administrator for Apache Hadoop).

Postępy w technologiach i rosnąca ilość informacji zmieniają sposób prowadzenia biznesu w wielu branżach, w tym w sektorze rządowym. Stopy generowania danych i cyfrowego archiwizowania przez rządy są na wzroście ze względu na dynamiczny rozwój urządzeń mobilnych i aplikacji, inteligentnych czujników i urządzeń, rozwiązań chmurowych oraz portalów skierowanych do obywateli. Wraz z rozszerzeniem się cyfrowej informacji i jej złożonością, zarządzanie, przetwarzanie, przechowywanie, bezpieczeństwo i likwidacja danych stają się coraz bardziej złożone. Nowe narzędzia do rejestrowania, wyszukiwania, odkrywania i analizy pomagają organizacjom wyciągać wnioski z ich niestrukturyzowanych danych. Rynkowi rządowy jest na przełomie, uświadamiając sobie, że informacja jest strategicznym aktywem, a rząd musi chronić, wykorzystywać i analizować zarówno strukturyzowane, jak i niestrukturyzowane dane, aby skuteczniej służyć i spełniać cele misji. Kiedy liderzy rządowi starają się ewoluować w organizacje oparte na danych, budują fundamenty, które pozwalają korelować zależności między wydarzeniami, ludźmi, procesami i informacjami.

Wysokowartościowe rządowe rozwiązania powstają dzięki integracji najbardziej innowacyjnych technologii:

• Urządzenia i aplikacje mobilne
• Usługi w chmurze
• Technologie i sieci biznesowe oparte na mediach społecznościowych
• Big Data i analiza danych

Big Data to jedno z inteligentnych rozwiązań branżowych, które pozwala rządowi podejmować lepsze decyzje poprzez działania oparte na wzorcach wykrywanych w wyniku analizy dużych objętości danych — zarówno powiązanych, jak i niespowiązanych, strukturyzowanych i niestrukturyzowanych.

Ale osiągnięcie tych celów wymaga znacznie więcej niż tylko gromadzenie ogromnych ilości danych. „Rozumienie tych wielkich objętości Big Data wymaga zaawansowanych narzędzi i technologii, które pozwalają na analizowanie i wyciąganie użytecznej wiedzy z rozległych i różnorodnych strumieni informacji,” pisał Tom Kalil i Fen Zhao z Biura Nauki i Polityki Technologicznej Białego Domu w swoim wpisie na blogu OSTP.

Biały Domek podjął krok, aby pomóc agencjom znaleźć te technologie, ustanawiając w 2012 roku Narodową Inicjatywę Badawczo-Rozwojową Big Data. Inicjatywa obejmowała ponad 200 milionów dolarów na maksymalne wykorzystanie eksplozji Big Data i narzędzi do jej analizy.

Wyzwania, jakie stawia przed nami Big Data, są prawie tak ogromne jak jego obietnice są zachęcające. Skuteczne przechowywanie danych jest jednym z tych wyzwań. Jak zwykle, budżety są ograniczone, więc agencje muszą minimalizować koszt przechowywania danych na megabajt i utrzymywać dostępność danych, aby użytkownicy mogli je otrzymać, gdy tego potrzebują i tak, jak to wymagają. Tworzenie kopii zapasowych ogromnych ilości danych zwiększa trudność.

Skuteczna analiza danych jest kolejnym głównym wyzwaniem. Wiele agencji korzysta z komercyjnych narzędzi, które umożliwiają im przeszukiwanie gór danych, wykrywając trendy, które mogą pomóc w bardziej efektywnym działaniu. (Ostatnie badanie MeriTalk wykazało, że federalni kierownicy IT uważają, że Big Data może pomóc agencjom oszczędzić ponad 500 miliardów dolarów, jednocześnie spełniając cele misji.).

Niestandardowe narzędzia Big Data pozwalają również agencjom na analizowanie swoich danych. Na przykład Grupa Analityki Obliczeniowej Laboratorium Oak Ridge uczyniła swój system analizy danych Piranha dostępny dla innych agencji. System pomógł badaczom medycznym odnaleźć związek, który może ostrzec lekarzy o aneurysmie aortalnym przed wystąpieniem. Jest również wykorzystywany do bardziej rutynowych zadań, takich jak przeszukiwanie CV, aby łączyć kandydatów na stanowiska pracy z menedżerami rekrutacji.

Dzień 1 - zapewnia ogólny przegląd najważniejszych Big Data obszarów tematycznych. Moduł jest podzielony na szereg sekcji, z których każdej towarzyszy praktyczne ćwiczenie.

Dzień 2 - omawia szereg tematów związanych z praktykami analitycznymi i narzędziami dla środowisk Big Data. Nie wchodzi w szczegóły implementacji lub programowania, ale zamiast tego utrzymuje zasięg na poziomie koncepcyjnym, koncentrując się na tematach, które umożliwiają uczestnikom kompleksowe zrozumienie wspólnych funkcji analizy i funkcji oferowanych przez rozwiązania Big Data.

Dzień 3 - zawiera przegląd podstawowych i istotnych obszarów tematycznych związanych z architekturą platformy rozwiązań Big Data. Obejmuje mechanizmy Big Data wymagane do opracowania platformy rozwiązań Big Data i opcje architektoniczne do montażu platformy przetwarzania danych. Przedstawiono również typowe scenariusze, aby zapewnić podstawowe zrozumienie, w jaki sposób platforma rozwiązań Big Data jest ogólnie używana;

Dzień 4 - opiera się na Dniu 3, badając zaawansowane tematy związane z architekturą platformy rozwiązań Big Data. W szczególności wprowadzane i omawiane są różne warstwy architektoniczne, które składają się na platformę rozwiązań Big Data, w tym źródła danych, pozyskiwanie danych, przechowywanie danych, przetwarzanie danych i bezpieczeństwo;

Dzień 5 - obejmuje szereg ćwiczeń i problemów mających na celu sprawdzenie umiejętności delegatów w zakresie stosowania wiedzy z tematów omówionych w dniu 3 i 4;

Big data analytics obejmuje proces analizowania dużych ilości zróżnicowanych zestawów danych w celu odkrycia korelacji, ukrytych wzorców i innych użytecznych wniosków.

Branża zdrowotna posiada masywne ilości skomplikowanych, heterogenicznych danych medycznych i klinicznych. Zastosowanie analizy big data na danych zdrowotnych daje ogromny potencjał do wyciągania wniosków mających na celu poprawę dostarczania opieki zdrowotnej. Jednakże ogrom tych zestawów danych stwarza duże wyzwania w analizie i praktycznym zastosowaniu w środowisku klinicznym.

W tym prowadzonym przez instruktora, żywym szkoleniu (zdalne), uczestnicy nauczą się wykonywania analizy big data w dziedzinie zdrowia, przechodząc przez serię ćwiczeń w żywych laboratoriach.

Po zakończeniu tego szkolenia uczestnicy będą w stanie:

• Zainstalować i skonfigurować narzędzia do analizy big data, takie jak Hadoop MapReduce i Spark
• Zrozumieć cechy danych medycznych
• Zastosować techniki big data do pracy z danymi medycznymi
• Badac systemy i algorytmy big data w kontekście aplikacji zdrowotnych

Grupa docelowa

• Programiści
• Naukowcy danych

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i intensywna praktyka ręczna.

Uwaga

• Aby zapytać o spersonalizowane szkolenie dla tego kursu, prosimy o kontakt z nami w celu uzgodnienia.

W tym szkoleniu prowadzonym przez instruktora uczestnicy nauczą się podejścia, z jakim należy podchodzić do technologii Big Data, ocenić ich wpływ na istniejące procesy i polityki oraz wdrożyć te technologie w celu identyfikacji działalności kryminalnej i zapobiegania przestępczości. Przeanalizujemy przypadki zastosowania przez organizacje policyjne na całym świecie, aby uzyskać wgląd w ich podejścia do wdrażania, wyzwania oraz wyniki.

Na koniec tego szkolenia uczestnicy będą w stanie:

• Połączyć technologię Big Data z tradycyjnymi procesami gromadzenia danych, aby skonstruować opowieść podczas śledztwa.
• Wdrożyć przemysłowe rozwiązania do przechowywania i przetwarzania dużych zbiorów danych w celach analizy.
• Przygotować propozycję dotyczącą wdrożenia najbardziej odpowiednich narzędzi i procesów, umożliwiających podejście oparte na danych w śledztwie kryminalnym.

Big Data to termin odnoszący się do rozwiązań przeznaczonych do przechowywania i przetwarzania dużych zbiorów danych. Rozwiązania te, początkowo opracowane przez Google, ewoluowały i zainspirowały inne podobne projekty, z których wiele jest dostępnych jako oprogramowanie open-source. R jest popularnym językiem programowania w branży finansowej.

Gdy tradycyjne technologie pamięci masowej nie radzą sobie z ilością danych, które trzeba przechowywać, istnieją setki alternatyw. Ten kurs stara się wskazać uczestnikom, jakie są alternatywy dla przechowywania i analizowania Big Data oraz jakie są ich zalety i wady.

Kurs ten koncentruje się głównie na dyskusji i prezentacji rozwiązań, choć na żądanie dostępne są ćwiczenia praktyczne.

Kurs jest częścią zestawu umiejętności Data Scientist (Domena: Dane i Technologia).

Ta sesja szkoleniowa w formie zajęć stacjonarnych będzie poświęcona tematyce Big Data. Uczestnicy będą mieli okazję zapoznać się z przykładami na komputerach oraz wykonać ćwiczenia case study z wykorzystaniem odpowiednich narzędzi do przetwarzania dużych zbiorów danych.

Odbiorcy

Jeśli próbujesz zrozumieć dane, do których masz dostęp, lub chcesz analizować nieustrukturyzowane dane dostępne w internecie (np. Twitter, LinkedIn itp.), ten kurs jest dla Ciebie.

Jest on skierowany głównie do decydentów i osób, które muszą decydować, które dane warto zbierać, a które analizować.

Nie jest skierowany do osób konfigurujących rozwiązania, chociaż mogą one skorzystać z ogólnego obrazu.

Tryb prowadzenia

Podczas kursu uczestnicy zapoznają się z działającymi przykładami głównie technologii open source.

Krótkie wykłady będą połączone z prezentacjami i prostymi ćwiczeniami wykonywanymi przez uczestników.

Treść i wykorzystywane oprogramowanie

Wszystkie wykorzystywane oprogramowanie jest aktualizowane za każdym razem, gdy kurs jest prowadzony, więc korzystamy z najnowszych dostępnych wersji.

Kurs obejmuje proces od pozyskiwania, formatowania, przetwarzania i analizy danych, po wyjaśnienie, jak zautomatyzować proces decyzyjny za pomocą uczenia maszynowego.

Big data to zbiory danych, które są tak obszerne i złożone, że tradycyjne aplikacje do przetwarzania danych nie są w stanie sobie z nimi poradzić. Wyzwania związane z dużymi zbiorami danych obejmują przechwytywanie danych, przechowywanie danych, analizę danych, wyszukiwanie, udostępnianie, przesyłanie, wizualizację, zapytania, aktualizację i prywatność informacji.

Apache Hadoop jest najpopularniejszym frameworkiem do przetwarzania danych na klastrach serwerów. W tym trzydniowym (opcjonalnie czterodniowym) kursie uczestnicy dowiedzą się o korzyściach biznesowych oraz przypadkach użycia Hadoop i jego ekosystemu, jak planować wdrażanie i skalowanie klastrów, jak instalować, utrzymywać, monitorować, diagnozować i optymalizować Hadoop. Będą również ćwiczyć wczytywanie dużych ilości danych do klastru, zapoznać się z różnymi dystrybucjami Hadoop oraz ćwiczyć instalację i zarządzanie narzędziami ekosystemu Hadoop. Kurs kończy się dyskusją o zabezpieczaniu klastru za pomocą Kerberosa.

„…Materiały były bardzo dobrze przygotowane i bardzo szczegółowo omówione. Laboratorium było bardzo pomocne i dobrze zorganizowane” — Andrew Nguyen, Główny Inżynier Integracji Bazy Danych, Microsoft Online Advertising

Grupa docelowa

Administratorzy Hadoop

Format

Wykłady i laboratoria praktyczne, przybliżony podział 60% wykładów, 40% laboratoriów.

Apache Hadoop to najpopularniejsza platforma do przetwarzania Big Data na klastrach serwerów. Ten kurs zapozna programistę z różnymi komponentami ekosystemu Hadoop, takimi jak HDFS, MapReduce, Pig, Hive i HBase.

Apache Hadoop to jedna z najpopularniejszych platform do przetwarzania Big Data na klastrach serwerów. Ten kurs zagłębia się w zarządzanie danymi w HDFS oraz zaawansowane techniki pracy z Pig, Hive i HBase. Te zaawansowane techniki programowania będą korzystne dla doświadczonych programistów Hadoop.

Grupa docelowa: programiści

Czas trwania: trzy dni

Format: wykłady (50%) i warsztaty praktyczne (50%).

Grupa docelowa:

Ten kurs ma na celu demistyfikację technologii big data/Hadoop i pokazanie, że nie jest trudna do zrozumienia.

To szkolenie prowadzone przez instruktora na żywo w Gdańsk (online lub na miejscu) jest skierowane do administratorów systemów, którzy chcą nauczyć się, jak konfigurować, wdrażać i zarządzać klastrami Hadoop w swojej organizacji.

Pod koniec szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować Apache Hadoop.
• Zrozumieć cztery główne komponenty ekosystemu Hadoop: HDFS, MapReduce, YARN i Hadoop Common.
• Używać Hadoop Distributed File System (HDFS) do skalowania klastra do setek lub tysięcy węzłów.
• Skonfigurować HDFS jako silnik magazynowania dla lokalnych wdrożeń Spark.
• Skonfigurować Spark do korzystania z alternatywnych rozwiązań magazynowych, takich jak Amazon S3, oraz systemów bazodanowych NoSQL, takich jak Redis, Elasticsearch, Couchbase, Aerospike itp.
• Wykonywać zadania administracyjne, takie jak provisionowanie, zarządzanie, monitorowanie i zabezpieczanie klastra Apache Hadoop.

Ten kurs wprowadza HBase – sklep NoSQL na podstawie Hadoop. Kurs jest przeznaczony dla programistów, którzy będą używać HBase do tworzenia aplikacji, oraz administratorów, którzy będą zarządzać klasterami HBase.

Przeprowadzimy programistów przez architekturę HBase, modelowanie danych oraz tworzenie aplikacji w HBase. Omówimy również używanie MapReduce z HBase oraz niektóre tematy administracyjne, związane z optymalizacją wydajności. Kurs jest bardzo praktyczny, z dużą liczbą ćwiczeń laboratoryjnych.

Czas trwania : 3 dni

Grupa docelowa : Programiści & Administratorzy

W tym szkoleniu prowadzonym przez instruktora, na żywo w Gdańsk (stacjonarnie lub zdalnie), uczestnicy nauczą się, jak skonfigurować i zintegrować różne frameworki do przetwarzania strumieniowego z istniejącymi systemami przechowywania danych big data oraz powiązanymi aplikacjami i mikrousługami.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować różne frameworki do przetwarzania strumieniowego, takie jak Spark Streaming i Kafka Streaming.
• Zrozumieć i wybrać najbardziej odpowiedni framework do danego zadania.
• Przetwarzać dane w sposób ciągły, równoległy i rekord po rekordzie.
• Zintegrować rozwiązania do przetwarzania strumieniowego z istniejącymi bazami danych, hurtowniami danych, jeziorami danych itp.
• Zintegrować najbardziej odpowiednią bibliotekę do przetwarzania strumieniowego z aplikacjami przedsiębiorstwa i mikrousługami.

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla osób technicznych, które chcą dowiedzieć się, jak wdrożyć strategię uczenia maszynowego, jednocześnie maksymalizując wykorzystanie dużych zbiorów danych.

Po zakończeniu tego szkolenia uczestnicy będą

• Zrozumienie ewolucji i trendów w uczeniu maszynowym.
• Zapoznanie się ze sposobami wykorzystania uczenia maszynowego w różnych branżach.
• Zapoznanie się z narzędziami, umiejętnościami i usługami dostępnymi w celu wdrożenia uczenia maszynowego w organizacji.
• Zrozumienie, w jaki sposób uczenie maszynowe może być wykorzystywane do ulepszania eksploracji i analizy danych.
• Dowiedz się, czym jest pośredni backend danych i jak jest on wykorzystywany przez firmy.
• Zrozumienie roli, jaką odgrywają duże zbiory danych i inteligentne aplikacje w różnych branżach.

Apache NiFi to platforma open-source do integracji danych i przetwarzania zdarzeń oparta na przepływie. Wspomaga automatyczną, czasową synchronizację danych, ich transformację oraz mediację systemów między różnymi systemami, oferując interfejs webowy i szczegółowe sterowanie.

Ten prowadzony przez instruktora, na żywo, szkolenie (na miejscu lub zdalnie) jest skierowane do pośrednio zaawansowanych administratorów i inżynierów, którzy chcą wdrożyć, zarządzać, zabezpieczać i optymalizować przepływy danych NiFi w środowiskach produkcyjnych.

Na koniec tego szkolenia uczestnicy będą mogli:

• Zainstalować, skonfigurować i utrzymywać klastry Apache NiFi.
• Projektować i zarządzać przepływami danych z różnych źródeł i ujśc.
• Zaimplementować automatyzację, routowanie i logikę transformacji przepływu.
• Optymalizować wydajność, monitorować operacje i rozwiązywać problemy.

Format Szkolenia

• Interaktywna prezentacja z dyskusją na temat rzeczywistych architektur.
• Laboratoria praktyczne: tworzenie, wdrażanie i zarządzanie przepływami.
• Zadania scenariuszowe w środowisku live-lab.

Opcje Dostosowywania Szkolenia

• Aby zapytać o dostosowane szkolenie dla tego kursu, prosimy o kontakt z nami w celu uzgodnienia szczegółów.

W tym szkoleniu prowadzonym przez instruktora, uczestnicy nauczą się podstaw programowania opartego na przepływie, tworząc szereg demonstracyjnych rozszerzeń, komponentów i procesorów przy użyciu Apache NiFi.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Zrozumieć architekturę NiFi oraz koncepcje przepływu danych.
• Tworzyć rozszerzenia przy użyciu NiFi i zewnętrznych API.
• Samodzielnie opracować własny procesor Apache NiFi.
• Pozyskiwać i przetwarzać dane w czasie rzeczywistym z różnych i nietypowych formatów plików oraz źródeł danych.

To szkolenie prowadzone przez instruktora na żywo w Gdańsk (online lub na miejscu) jest skierowane do data scientistów, którzy chcą wykorzystać stos SMACK do budowy platform przetwarzania danych dla rozwiązań big data.

Pod koniec szkolenia uczestnicy będą w stanie:

• Zaimplementować architekturę potoku danych do przetwarzania big data.
• Rozwinąć infrastrukturę klastrową z wykorzystaniem Apache Mesos i Dockera.
• Analizować dane za pomocą Spark i Scala.
• Zarządzać danymi niestrukturyzowanymi za pomocą Apache Cassandra.

To szkolenie prowadzone przez instruktora na żywo w Gdańsk (online lub na miejscu) jest skierowane do inżynierów, którzy chcą skonfigurować i wdrożyć system Apache Spark do przetwarzania bardzo dużych ilości danych.

Pod koniec szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować Apache Spark.
• Szybko przetwarzać i analizować bardzo duże zbiory danych.
• Zrozumieć różnicę między Apache Spark a Hadoop MapReduce oraz kiedy używać którego z nich.
• Zintegrować Apache Spark z innymi narzędziami do uczenia maszynowego.

Krzywa uczenia się Apache Spark na początku rośnie powoli, wymaga wiele wysiłku, aby uzyskać pierwsze rezultaty. Ten kurs ma na celu przeskoczenie przez tę trudną początkową fazę. Po ukończeniu tego kursu uczestnicy zrozumieją podstawy Apache Spark, będą wyraźnie rozróżniać RDD od DataFrame, nauczą się korzystać z API Pythona i Scali, zrozumieją rolę executorów i zadań itp. Ponadto, zgodnie z najlepszymi praktykami, kurs silnie koncentruje się na wdrożeniu w chmurze, Databricks i AWS. Uczestnicy zrozumieją również różnice między AWS EMR a AWS Glue, jednym z najnowszych usług Spark oferowanych przez AWS.

PUBLICZNOŚĆ:

Inżynierowie danych, DevOps, Data Scientist

CEL:

Ten kurs wprowadzi Apache Spark. Studenci dowiedzą się, jak  Spark pasuje  do ekosystemu Big Data i jak używać Spark do analizy danych.  Kurs obejmuje powłokę Spark do interaktywnej analizy danych, elementy wewnętrzne Spark, interfejsy API Spark, Spark SQL, przesyłanie strumieniowe Spark oraz uczenie maszynowe i graphX.

AUDIENCJA :

Programiści / analitycy danych

To prowadzone przez instruktora szkolenie na żywo w Gdańsk (na miejscu lub zdalnie) jest przeznaczone dla naukowców zajmujących się danymi i programistów, którzy chcą używać Spark NLP, zbudowanego na bazie Apache Spark, do opracowywania, wdrażania i skalowania modeli i potoków przetwarzania tekstu w języku naturalnym.

Pod koniec tego szkolenia uczestnicy będą mogli

• Skonfigurować niezbędne środowisko programistyczne, aby rozpocząć tworzenie potoków NLP za pomocą Spark NLP.
• Zrozumieć funkcje, architekturę i zalety korzystania z Spark NLP.
• Używać wstępnie wytrenowanych modeli dostępnych w Spark NLP do implementacji przetwarzania tekstu.
• Dowiedz się, jak budować, trenować i skalować modele Spark NLP dla projektów klasy produkcyjnej.
• Zastosuj klasyfikację, wnioskowanie i analizę nastrojów w rzeczywistych przypadkach użycia (dane kliniczne, spostrzeżenia dotyczące zachowań klientów itp.)

Spark SQL to moduł Apache Spark do pracy ze strukturalnymi i niestrukturalnymi danymi. Spark SQL dostarcza informacji o strukturze danych oraz o wykonywanych obliczeniach. Informacje te mogą być wykorzystane do optymalizacji. Dwa najczęstsze zastosowania Spark SQL to:
- wykonywanie zapytań SQL.
- odczytywanie danych z istniejącej instalacji Hive.

W tym szkoleniu prowadzonym przez instruktora (na miejscu lub zdalnie), uczestnicy nauczą się, jak analizować różne typy zbiorów danych za pomocą Spark SQL.

Pod koniec szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować Spark SQL.
• Wykonywać analizę danych za pomocą Spark SQL.
• Przeprowadzać zapytania na zbiorach danych w różnych formatach.
• Wizualizować dane i wyniki zapytań.

Format kursu

• Interaktywny wykład i dyskusja.
• Wiele ćwiczeń i praktyki.
• Praktyczna implementacja w środowisku live-lab.

Opcje dostosowania kursu

• Aby zamówić dostosowane szkolenie z tego kursu, prosimy o kontakt w celu ustalenia szczegółów.

To szkolenie prowadzone przez instruktora, na żywo w Gdańsk (online lub na miejscu) jest skierowane do osób technicznych, które chcą wdrożyć Talend Open Studio for Big Data w celu uproszczenia procesu odczytywania i przetwarzania dużych zbiorów danych.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować Talend Open Studio for Big Data.
• Połączyć się z systemami Big Data, takimi jak Cloudera, HortonWorks, MapR, Amazon EMR i Apache.
• Zrozumieć i skonfigurować komponenty i złącza Big Data w Open Studio.
• Skonfigurować parametry do automatycznego generowania kodu MapReduce.
• Wykorzystać interfejs typu drag-and-drop w Open Studio do uruchamiania zadań Hadoop.
• Tworzyć prototypy potoków danych Big Data.
• Automatyzować projekty integracji danych Big Data.