Szkolenia Hadoop w małopolskie

Ten prowadzony przez instruktora trening na żywo w małopolskie (online lub na miejscu) jest skierowany do programistów, którzy chcą używać i integrować Spark, Hadoop i Python do przetwarzania, analizowania i przekształcania dużych i złożonych zbiorów danych. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Ustawienie środowiska niezbędnego do rozpoczęcia przetwarzania dużych zbiorów danych za pomocą Sparka, Hadoopa i Pythona.
• Zrozumienie funkcji, podstawowych komponentów i architektury Spark i Hadoop.
• Dowiedz się, jak zintegrować Spark, Hadoop i Python w celu przetwarzania dużych zbiorów danych.
• Poznanie narzędzi w ekosystemie Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka i Flume).
• Buduj systemy rekomendacji oparte na filtrowaniu kolaboracyjnym podobne do Netflix, YouTube, Amazon, Spotify i Google.
• Używaj Apache Mahout do skalowania algorytmów uczenia maszynowego.

Ten kurs obejmuje sposób korzystania z języka Hive SQL (AKA: Hive HQL, SQL on Hive, HiveQL) dla osób, które wyodrębniają dane z Hive

Datameer to platforma analityczno-biznesowa oparta na Hadoop. Umożliwia użytkownikom końcowym dostęp, eksplorację i korelację dużych, ustrukturyzowanych, częściowo ustrukturyzowanych i nieustrukturyzowanych danych w łatwy w użyciu sposób. W tym prowadzonym przez instruktora szkoleniu na żywo uczestnicy dowiedzą się, jak korzystać z Datameer, aby pokonać stromą krzywą uczenia się Hadoop, przechodząc przez konfigurację i analizę szeregu dużych źródeł danych. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Tworzenie, zarządzanie i interaktywna eksploracja korporacyjnego jeziora danych
• [Hurtownie danych analityki biznesowej, transakcyjne bazy danych i inne magazyny analityczne.
• Korzystanie z interfejsu użytkownika arkusza kalkulacyjnego do projektowania kompleksowych potoków przetwarzania danych
• [Wstępnie wbudowane funkcje do eksploracji złożonych relacji danych
• Korzystanie z kreatorów "przeciągnij i upuść" do wizualizacji danych i tworzenia pulpitów nawigacyjnych
• korzystanie z tabel, wykresów, grafów i map do analizowania wyników zapytań

Publiczność

• Analitycy danych

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i ciężka praktyka praktyczna

Ten prowadzony przez instruktora trening na żywo w małopolskie (online lub na miejscu) wprowadza Hortonworks Data Platform (HDP) i przeprowadza uczestników przez wdrożenie rozwiązania Spark + Hadoop. Po zakończeniu tego szkolenia uczestnicy będą w stanie

Wykorzystaj Hortonworks do niezawodnego uruchamiania Hadoop na dużą skalę. Ujednolicenie zabezpieczeń, zarządzania i możliwości operacyjnych Hadoop ze zwinnymi analitycznymi przepływami pracy Spark. Wykorzystaj Hortonworks do badania, walidacji, certyfikacji i wsparcia każdego z komponentów projektu Spark. Przetwarzanie różnych typów danych, w tym ustrukturyzowanych, nieustrukturyzowanych, w ruchu i w spoczynku.

Apache Ambari to platforma zarządzania typu open-source do udostępniania, zarządzania, monitorowania i zabezpieczania klastrów Apache Hadoop. W tym instruktażowym szkoleniu na żywo uczestnicy poznają narzędzia i praktyki zarządzania dostarczane przez Ambari w celu skutecznego zarządzania klastrami Hadoop. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Konfiguracja klastra Big Data na żywo przy użyciu Ambari
• Zastosowanie zaawansowanych funkcji i funkcjonalności Ambari w różnych przypadkach użycia
• Płynne dodawanie i usuwanie węzłów w razie potrzeby
• Poprawa wydajności klastra Hadoop poprzez dostrajanie i modyfikowanie

Publiczność

• DevOps
• Administratorzy systemów
• DBA
• Hadoop Specjaliści ds. testowania

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i ciężka praktyka praktyczna

Cloudera Impala to silnik zapytań typu open source do masowego przetwarzania równoległego (MPP) SQL dla klastrów Apache Hadoop. Impala umożliwia użytkownikom wysyłanie zapytań o niskim opóźnieniu SQL do danych przechowywanych w rozproszonym systemie plików Hadoop i Apache Hbase bez konieczności przenoszenia lub przekształcania danych. Publiczność Ten kurs jest skierowany do analityków i badaczy danych przeprowadzających analizy danych przechowywanych w Hadoop za pośrednictwem narzędzi Business Intelligence lub SQL. Po tym kursie uczestnicy będą w stanie

• Wydobywanie istotnych informacji z klastrów Hadoop za pomocą Impala.
• Pisanie konkretnych programów w celu ułatwienia analizy biznesowej w Impala SQL Dialect.
• Rozwiązywanie problemów z Impalą.

Głównym celem szkolenia jest zdobycie wiedzy z administracji systemem Apache Hadoop w środowiskach MapReduce oraz YARN na poziomie zaawansowanym. Tematyka szkolenia dotyczy w głównej mierze architektury systemu Hadoop, a w szczególności systemu plików HDFS oraz modeli programistycznych MapReduce i YARN oraz zagadnień związanych z planowaniem, instalacją, konfiguracją, administracją, zarządzaniem i monitorowaniem klastra systemu Hadoop. Pozostałe zagadnienia związane z tematyką BigData takie jak HBase, Cassandra, Impala, Pig, Hiver oraz Sqoop są również omówione, choć pobieżnie. Kurs przeznaczony jest w głównej mierze do specjalistów z branży IT, którzy chcą przygotować się i zdać egzamin CCAH (Cloudera Certified administrator for Apache Hadoop).

Big Data Hadoop to otwarta, rozproszona i skalowalna platforma, stworzona do przechowywania, przetwarzania i analizy dużych zbiorów danych. Hadoop umożliwia przechowywanie dużych ilości danych na klastrze komputerów, dzięki czemu można obsługiwać petabajty danych. Framework Hadoop zawiera system plików Hadoop Distributed File System (HDFS) oraz framework do przetwarzania rozproszonego MapReduce. Pozwala to na równoległe przetwarzanie danych na wielu maszynach w klastrze. Platforma Hadoop jest łatwa w skalowaniu. Można ją rozbudować poprzez dodanie nowych węzłów do klastra, co zwiększa przepustowość i przetwarzanie danych. Składa się z różnych modułów, takich jak HDFS, MapReduce, YARN (Yet Another Resource Negotiator) oraz dodatkowych narzędzi i bibliotek, które mogą być używane w zależności od potrzeb projektu. Hadoop umożliwia pracę z różnorodnymi typami danych, w tym strukturyzowanymi, półstrukturyzowanymi i nieustrukturyzowanymi. Jest używany do analizy dużych zbiorów danych, tworzenia raportów, analizy trendów, przewidywania oraz uczenia maszynowego. Hadoop posiada bogaty ekosystem narzędzi i frameworków, takich jak Apache Hive, Apache Pig, Apache Spark, Apache HBase, które wspierają różne aspekty przetwarzania i analizy danych. Zapewnia mechanizmy bezpieczeństwa, kontroli dostępu i zarządzania użytkownikami, aby chronić dane przechowywane i przetwarzane w klastrze Hadoop. Big Data Hadoop jest popularnym narzędziem do przetwarzania i analizy dużych zbiorów danych, stosowanym w różnych branżach, w tym w analizie rynkowej, medycynie, finansach, przemyśle i wielu innych, gdzie konieczne jest zarządzanie i analiza dużej ilości danych.

Analityka Big Data obejmuje proces badania dużych ilości różnorodnych zestawów danych w celu odkrycia korelacji, ukrytych wzorców i innych przydatnych informacji. Branża medyczna dysponuje ogromnymi ilościami złożonych, heterogenicznych danych medycznych i klinicznych. Zastosowanie analizy dużych zbiorów danych na danych dotyczących zdrowia stanowi ogromny potencjał w uzyskiwaniu wglądu w celu poprawy świadczenia opieki zdrowotnej. Jednak ogrom tych zbiorów danych stanowi ogromne wyzwanie w analizach i praktycznych zastosowaniach w środowisku klinicznym. W tym prowadzonym przez instruktora szkoleniu na żywo (zdalnie) uczestnicy dowiedzą się, jak przeprowadzić analizę dużych zbiorów danych w zakresie zdrowia, przechodząc przez serię praktycznych ćwiczeń laboratoryjnych na żywo. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalowanie i konfigurowanie narzędzi do analizy dużych zbiorów danych, takich jak Hadoop MapReduce i Spark.
• Zrozumienie charakterystyki danych medycznych
• Stosowanie technik big data do przetwarzania danych medycznych
• Badanie systemów i algorytmów big data w kontekście aplikacji zdrowotnych

Publiczność

• Programiści
• Naukowcy ds. danych

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i ciężka praktyka praktyczna.

Uwaga

• Aby zamówić niestandardowe szkolenie dla tego kursu, skontaktuj się z nami.

Szkolenie pozwoli w pełni zapoznać się i zrozumieć wszystkie niezbędne kroki do obsługi i utrzymywania klastra Hadoop. Dostarcza wiedzę począwszy od zagadnień związanych ze specyfikacją sprzętu, instalacją i konfiguracją systemu, aż do zagadnien związanych z równoważeniem obciążenia, strojeniem, diagnozowaniem i rozwiązywaniu problemów  przy wdrożeniu. Kurs dedykowany administratorom, którzy będą tworzyć lub/i utrzymywać klaster Hadoop. Materiały szkoleniowe

• Materiały szkoleniowe Student Guide
• Materiały szkoleniowe Lab Guide

Apache Hadoop to najpopularniejszy framework do przetwarzania Big Data na klastrach serwerów. Podczas tego trzydniowego (opcjonalnie czterodniowego) kursu uczestnicy dowiedzą się o korzyściach biznesowych i przypadkach użycia Hadoop i jego ekosystemu, jak zaplanować wdrożenie i rozwój klastra, jak zainstalować, utrzymywać, monitorować, rozwiązywać problemy i optymalizować Hadoop. Uczestnicy przećwiczą również masowe ładowanie danych klastra, zapoznają się z różnymi dystrybucjami Hadoop oraz przećwiczą instalację i zarządzanie narzędziami ekosystemu Hadoop. Kurs kończy się dyskusją na temat zabezpieczania klastra za pomocą Kerberos. “… Materiały były bardzo dobrze przygotowane i dokładnie omówione. Laboratorium było bardzo pomocne i dobrze zorganizowane” — Andrew Nguyen, główny inżynier integracji DW, Microsoft Reklama online Publiczność Hadoop Administratorzy Format Wykłady i praktyczne laboratoria, około 60% wykładów, 40% laboratoriów.

Apache Hadoop to najpopularniejszy framework do przetwarzania Big Data na klastrach serwerów. Ten kurs wprowadzi programistę w różne komponenty (HDFS, MapReduce, Pig, Hive i HBase) ekosystemu Hadoop.  

Apache Hadoop to jeden z najpopularniejszych frameworków do przetwarzania Big Data na klastrach serwerów. Ten kurs zagłębia się w zarządzanie danymi w HDFS, zaawansowane Pig, Hive i HBase.  Te zaawansowane techniki programowania będą korzystne dla doświadczonych programistów Hadoop. Odbiorcy: deweloperzy Czas trwania: trzy dni Format: wykłady (50%) i praktyczne laboratoria (50%).  

Hadoop jest najpopularniejszym Big Data frameworkiem przetwarzania danych.

Podczas tego szkolenia prowadzonego przez instruktora w małopolskie uczestnicy poznają podstawowe elementy ekosystemu Hadoop i dowiedzą się, w jaki sposób technologie te mogą być wykorzystywane do rozwiązywania problemów na dużą skalę. Ucząc się tych podstaw, uczestnicy poprawią swoją zdolność do komunikowania się z programistami i wdrożeniowcami tych systemów, a także naukowcami i analitykami danych, którzy biorą udział w wielu projektach IT. Publiczność

• Menedżerowie projektów, którzy chcą wdrożyć Hadoop do istniejącej infrastruktury programistycznej lub IT
• Menedżerowie projektów, którzy muszą komunikować się z wielofunkcyjnymi zespołami, w tym inżynierami Big Data, analitykami danych i analitykami biznesowymi

Publiczność: Kurs ten ma na celu demistyfikację technologii big data/hadoop i pokazanie, że nie jest ona trudna do zrozumienia.

Hadoop to popularny framework do przetwarzania Big Data. Python to język programowania wysokiego poziomu słynący z przejrzystej składni i czytelności kodu. W tym prowadzonym przez instruktora szkoleniu na żywo uczestnicy dowiedzą się, jak pracować z Hadoop, MapReduce, Pig i Spark przy użyciu Python, przechodząc przez wiele przykładów i przypadków użycia. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zrozumienie podstawowych pojęć związanych z Hadoop, MapReduce, Pig i Spark
• Używanie Python z rozproszonym systemem plików Hadoop (HDFS), MapReduce, Pig i Spark
• Używanie Snakebite do programowego dostępu do HDFS w ramach Python.
• Używanie mrjob do pisania zadań MapReduce w Python.
• Pisanie programów Spark za pomocą Python
• Rozszerzanie funkcjonalności pig przy użyciu Python UDF
• Zarządzanie zadaniami MapReduce i skryptami Pig przy użyciu Luigi

Publiczność

• Programiści
• Specjaliści IT

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i ciężka praktyka praktyczna

To prowadzone przez instruktora szkolenie na żywo w małopolskie (online lub na miejscu) jest przeznaczone dla administratorów systemów, którzy chcą dowiedzieć się, jak konfigurować, wdrażać i zarządzać klastrami Hadoop w swojej organizacji. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalacja i konfiguracja Apache Hadoop.
• Zrozumienie czterech głównych komponentów ekosystemu Hadoop: HDFS, MapReduce, YARN i Hadoop Common.
• Używanie rozproszonego systemu plików Hadoop (HDFS) do skalowania klastra do setek lub tysięcy węzłów.
• Konfigurowanie HDFS do działania jako silnik pamięci masowej dla lokalnych wdrożeń Spark.
• Konfiguracja Spark, aby uzyskać dostęp do alternatywnych rozwiązań pamięci masowej, takich jak Amazon S3 i systemów baz danych NoSQL, takich jak Redis, Elasticsearch, Couchbase, Aerospike itp.
• Wykonywanie zadań administracyjnych, takich jak udostępnianie, zarządzanie, monitorowanie i zabezpieczanie klastra Apache Hadoop.

Ten kurs wprowadza HBase – magazyn NoSQL na szczycie Hadoop.  Kurs jest przeznaczony dla programistów, którzy będą używać HBase do tworzenia aplikacji  i administratorów, którzy będą zarządzać klastrami HBase. Przeprowadzimy programistę przez architekturę HBase, modelowanie danych i tworzenie aplikacji na HBase. Omówimy również korzystanie z MapReduce z HBase oraz niektóre tematy administracyjne związane z optymalizacją wydajności. Kurs jest bardzo praktyczny i zawiera wiele ćwiczeń laboratoryjnych. Czas trwania : 3 dni Odbiorcy : Programiści  & Administratorzy

W tym prowadzonym przez instruktora szkoleniu na żywo w małopolskie (na miejscu lub zdalnie) uczestnicy dowiedzą się, jak wdrożyć i zarządzać Apache NiFi w środowisku laboratoryjnym na żywo. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalacja i konfiguracja Apachi NiFi.
• Pobieranie, przekształcanie i zarządzanie danymi z różnych, rozproszonych źródeł danych, w tym baz danych i dużych jezior danych.
• Automatyzuj przepływy danych.
• Włącz analitykę strumieniową.
• Zastosowanie różnych podejść do pozyskiwania danych.
• Przekształcanie danych Big Data w informacje biznesowe.

W tym prowadzonym przez instruktora szkoleniu na żywo w małopolskie uczestnicy poznają podstawy programowania opartego na przepływie, opracowując szereg rozszerzeń demonstracyjnych, komponentów i procesorów przy użyciu Apache NiFi. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zrozumienie architektury NiFi i koncepcji przepływu danych.
• Rozwijanie rozszerzeń przy użyciu NiFi i interfejsów API innych firm.
• Rozwijanie własnego procesora Apache Nifi.
• Pozyskiwanie i przetwarzanie danych w czasie rzeczywistym z różnych i nietypowych formatów plików i źródeł danych.

Apache Samza to open-source'owy, asynchroniczny framework obliczeniowy do przetwarzania strumieniowego w czasie zbliżonym do rzeczywistego.  Wykorzystuje Apache Kafka do przesyłania wiadomości oraz Apache Hadoop YARN do tolerancji błędów, izolacji procesorów, bezpieczeństwa i zarządzania zasobami. To prowadzone przez instruktora szkolenie na żywo wprowadza zasady stojące za systemami przesyłania wiadomości i rozproszonym przetwarzaniem strumieniowym, jednocześnie przeprowadzając uczestników przez tworzenie przykładowego projektu opartego na Samza i wykonywanie zadań. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Wykorzystanie Samza do uproszczenia kodu potrzebnego do tworzenia i konsumowania komunikatów.
• Oddzielenie obsługi komunikatów od aplikacji.
• Wykorzystanie Samza do implementacji asynchronicznych obliczeń w czasie zbliżonym do rzeczywistego.
• Wykorzystanie przetwarzania strumieniowego w celu zapewnienia wyższego poziomu abstrakcji w stosunku do systemów przesyłania komunikatów.

Publiczność

• Deweloperzy

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i ciężka praktyka praktyczna