HBase dla programistów - Plan Szkolenia

Grupa docelowa:

Kurs jest przeznaczony dla specjalistów IT poszukujących rozwiązania do przechowywania i przetwarzania dużych zbiorów danych w środowisku systemów rozproszonych.

Cel:

Pogłębienie wiedzy na temat administracji klastrem Hadoop.

Analiza danych dużych objętości obejmuje proces badania dużych ilości różnorodnych zestawów danych w celu odkrycia korelacji, ukrytych wzorców i innych użytecznych informacji.

Branża zdrowia generuje ogromne ilości złożonych, heterogenicznych danych medycznych i klinicznych. Zastosowanie analizy danych dużych objętości w danych zdrowotnych stwarza ogromny potencjał w uzyskiwaniu informacji mających na celu poprawę jakości opieki zdrowotnej. Jednak ogrom tych zbiorów danych stanowi duże wyzwanie w analizach i praktycznych zastosowaniach w środowisku klinicznym.

Podczas tego szkolenia prowadzonego przez instruktora (zdalnie), uczestnicy nauczą się, jak przeprowadzać analizę danych dużych objętości w dziedzinie zdrowia, przechodząc przez serię praktycznych ćwiczeń w laboratorium.

Pod koniec szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować narzędzia do analizy danych dużych objętości, takie jak Hadoop MapReduce i Spark
• Zrozumieć charakterystykę danych medycznych
• Zastosować techniki danych dużych objętości do pracy z danymi medycznymi
• Poznać systemy i algorytmy danych dużych objętości w kontekście zastosowań w zdrowiu

Grupa docelowa

• Programiści
• Analitycy danych

Format kursu

• Część wykładowa, część dyskusyjna, ćwiczenia i intensywna praktyka.

Uwaga

• Aby zamówić szkolenie dostosowane do potrzeb, prosimy o kontakt w celu uzgodnienia szczegółów.

Gdy tradycyjne technologie przechowywania danych nie radzą sobie z ilością danych, które musisz przechowywać, istnieją setki alternatyw. Ten kurs ma na celu pokazanie uczestnikom, jakie są alternatywy dla przechowywania i analizy dużych danych oraz jakie są ich zalety i wady.

Kurs skupia się głównie na dyskusji i prezentacji rozwiązań, choć ćwiczenia praktyczne są dostępne na życzenie.

Kurs jest częścią zestawu umiejętności Data Scientist (Domena: Dane i Technologia).

To szkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu) jest skierowane do administratorów baz danych lub programistów, którzy chcą wykorzystać Microsoft Azure Cosmos DB do tworzenia i zarządzania wysoce responsywnymi aplikacjami o niskim opóźnieniu.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Zapewnić niezbędne zasoby Cosmos DB, aby rozpocząć budowanie baz danych i aplikacji.
• Skalować wydajność aplikacji i pamięć masową, wykorzystując interfejsy API w Cosmos DB.
• Zarządzać operacjami baz danych i redukować koszty, optymalizując zasoby Cosmos DB.

Apache Hadoop to najpopularniejsze framework do przetwarzania Big Data na klastrach serwerów. W tym trzydniowym (opcjonalnie czterodniowym) kursie uczestnicy dowiedzą się, jakie korzyści biznesowe i przypadki użycia oferuje Hadoop oraz jego ekosystem, jak planować wdrożenie i rozwój klastra, jak instalować, utrzymywać, monitorować, rozwiązywać problemy i optymalizować Hadoop. Będą również ćwiczyć masowe ładowanie danych do klastra, zapoznają się z różnymi dystrybucjami Hadoop oraz będą ćwiczyć instalację i zarządzanie narzędziami ekosystemu Hadoop. Kurs kończy się omówieniem zabezpieczania klastra za pomocą Kerberosa.

“…Materiały były bardzo dobrze przygotowane i szczegółowo omówione. Laboratorium było bardzo pomocne i dobrze zorganizowane”
— Andrew Nguyen, Główny Inżynier Integracji DW, Microsoft Online Advertising

Grupa docelowa

Administratorzy Hadoop

Format

Wykłady i praktyczne laboratoria, w przybliżeniu 60% wykładów, 40% laboratoriów.

Apache Hadoop to najbardziej popularne framework do przetwarzania Big Data na klastrach serwerów. Ten kurs wprowadzi programistę w różne komponenty (HDFS, MapReduce, Pig, Hive i HBase) ekosystemu Hadoop.

Apache Hadoop to jedna z najpopularniejszych platform do przetwarzania Big Data na klastrach serwerów. Ten kurs zagłębia się w zarządzanie danymi w HDFS oraz zaawansowane techniki pracy z Pig, Hive i HBase. Te zaawansowane techniki programowania będą korzystne dla doświadczonych programistów Hadoop.

Grupa docelowa: programiści

Czas trwania: trzy dni

Format: wykłady (50%) i warsztaty praktyczne (50%).

Grupa docelowa:

Ten kurs ma na celu demistyfikację technologii big data/hadoop i pokazanie, że nie jest trudna do zrozumienia.

To szkolenie prowadzone przez instruktora na żywo w Polsce (online lub na miejscu) jest skierowane do administratorów systemów, którzy chcą nauczyć się, jak konfigurować, wdrażać i zarządzać klastrami Hadoop w swojej organizacji.

Pod koniec szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować Apache Hadoop.
• Zrozumieć cztery główne komponenty ekosystemu Hadoop: HDFS, MapReduce, YARN i Hadoop Common.
• Używać Hadoop Distributed File System (HDFS) do skalowania klastra do setek lub tysięcy węzłów.
• Skonfigurować HDFS jako silnik magazynowania dla lokalnych wdrożeń Spark.
• Skonfigurować Spark do korzystania z alternatywnych rozwiązań magazynowych, takich jak Amazon S3, oraz systemów bazodanowych NoSQL, takich jak Redis, Elasticsearch, Couchbase, Aerospike itp.
• Wykonywać zadania administracyjne, takie jak provisionowanie, zarządzanie, monitorowanie i zabezpieczanie klastra Apache Hadoop.

Apache NiFi to platforma open-source do integracji danych i przetwarzania zdarzeń oparta na przepływie. Wspomaga automatyczną, czasową synchronizację danych, ich transformację oraz mediację systemów między różnymi systemami, oferując interfejs webowy i szczegółowe sterowanie.

Ten prowadzony przez instruktora, na żywo, szkolenie (na miejscu lub zdalnie) jest skierowane do pośrednio zaawansowanych administratorów i inżynierów, którzy chcą wdrożyć, zarządzać, zabezpieczać i optymalizować przepływy danych NiFi w środowiskach produkcyjnych.

Na koniec tego szkolenia uczestnicy będą mogli:

• Zainstalować, skonfigurować i utrzymywać klastry Apache NiFi.
• Projektować i zarządzać przepływami danych z różnych źródeł i ujśc.
• Zaimplementować automatyzację, routowanie i logikę transformacji przepływu.
• Optymalizować wydajność, monitorować operacje i rozwiązywać problemy.

Format Szkolenia

• Interaktywna prezentacja z dyskusją na temat rzeczywistych architektur.
• Laboratoria praktyczne: tworzenie, wdrażanie i zarządzanie przepływami.
• Zadania scenariuszowe w środowisku live-lab.

Opcje Dostosowywania Szkolenia

• Aby zapytać o dostosowane szkolenie dla tego kursu, prosimy o kontakt z nami w celu uzgodnienia szczegółów.

W tym szkoleniu prowadzonym przez instruktora, uczestnicy nauczą się podstaw programowania opartego na przepływie, tworząc szereg demonstracyjnych rozszerzeń, komponentów i procesorów przy użyciu Apache NiFi.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Zrozumieć architekturę NiFi oraz koncepcje przepływu danych.
• Tworzyć rozszerzenia przy użyciu NiFi i zewnętrznych API.
• Samodzielnie opracować własny procesor Apache NiFi.
• Pozyskiwać i przetwarzać dane w czasie rzeczywistym z różnych i nietypowych formatów plików oraz źródeł danych.

Bazy danych relacyjne były dotychczas wykorzystywane do przechowywania, pobierania i zapytań dotyczących danych. Bazy danych relacyjne umożliwiają użytkownikom organizowanie danych przy użyciu strukturyzowanego, dobrze zdefiniowanego zestawu wzorców (modelu). Choć ten podejście działa dobrze w przypadku przechowywania danych standardowych i dobrze poznanych z góry (np. aplikacja rejestracyjna szpitala zawierająca rekordy pacjentów z takim samym, spójnym zestawem pól predefiniowanych... identyfikator pacjenta, imię, nazwisko, data ostatniej wizyty itp.), istnieją ograniczenia tego modelu. Dla organizacji, których dane wejściowe nie są dobrze zdefiniowane (np. formularz online dla startupu, który nadal eksperymentuje z różnymi polami do zbierania danych odwiedzających, usuwając i dodając pola w miarę zmian w naturze biznesu), dowolne ustalone definicje dotyczące tego, jak dane powinny pasować do istniejącej bazy danych, musiałyby być regularnie redefiniowane. To wymagałoby tworzenia ponownego modelu danych (schematu) określającego strukturę danych i dozwolone typy danych, aby móc obsługiwać różne rodzaje wejść danych przed zapisaniem jakichkolwiek nowych danych w bazie danych.

Tutaj wchodzą do gry bazy danych NoSQL (Not Only SQL). Bazy danych NoSQL pozbywają użytkowników konieczności predefiniowania struktury danych wejściowych, umożliwiając im dynamiczne wstawianie i aktualizowanie nowych danych. Bazy danych NoSQL są często szybsze niż bazy danych relacyjne i z łatwością obsługują bardzo duże ilości danych. Bazy danych NoSQL skalują się lepiej niż bazy danych relacyjne, dzięki swojej zdolności efektywnego partycjonowania danych na wielu serwerach (klastrach) i równoważenia obciążenia dostępu do tych danych. Bazy danych NoSQL w szczególności dobrze integrują się z aplikacjami obsługującymi analizy w czasie rzeczywistym, personalizację witryny, IoT (Internet of Things) i aplikacje mobilne.

W tym prowadzonym przez instruktora, na żywo szkoleniu uczestnicy zrozumieją architekturę, zasady projektowania i funkcjonalność najpopularniejszych baz danych NoSQL, podczas gdy ustawiają, operują i oceniają wiele baz danych NoSQL w środowisku laboratorium na żywo. Celem tego szkolenia jest umożliwienie uczestnikom inteligentnej ewaluacji, proponowania i wdrożenia odpowiedniego rozwiązania bazodanowego NoSQL w ich organizacji.

Na koniec tego szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować różne typy baz danych NoSQL, w tym MongoDB, Cassandra, Redis i Neo4j
• Zrozumieć korzyści i wady baz danych NoSQL w porównaniu do relacyjnych
• Zrozumieć podstawowe formaty danych wykorzystywane przez bazy danych NoSQL oraz jak te formaty mogą być wykorzystywane do przewagi przy tworzeniu nowoczesnych aplikacji (stacjonarnych, mobilnych, chmurowych, IoT)
• Wykonywać operacje tworzenia, wstawiania, aktualizacji i usuwania w bazie danych NoSQL
• Ustawiać środowisko mieszane z baza danych relacyjną i NoSQL działającymi równolegle
• Konfigurować klaster bazy danych NoSQL do rozproszonego przetwarzania bardzo dużych zestawów danych
• Zrozumieć implikacje bezpieczeństwa wykorzystywania bazy danych NoSQL
• Wdrażać i skalować bazę danych NoSQL w środowisku produkcyjnym

Odbiorcy

• Profesjonaliści baz danych
• Architekci danych
• Strategowie danych
• Menedżerowie projektów
• Deweloperzy aplikacji, którzy chcą zintegrować elastyczne rozwiązanie bazodanowe w swoich aplikacjach

Format kursu

• Część wykładu, część dyskusji, ćwiczeń i intensywnych praktyk z ręki na mokrą

Uwagi

• Aby poprosić o dostosowanie szkolenia do tego kursu, prosimy o kontakt z nami w celu ustalenia szczegółów.

redis

nosql

Scylla to otwartoźródłowy rozproszony magazyn danych NoSQL. Jest kompatybilny z Apache Cassandra, ale oferuje znacznie wyższą przepustowość i niższe opóźnienia.

W tym kursie uczestnicy poznają funkcje i architekturę Scylli, a także zdobędą praktyczne doświadczenie w konfiguracji, administracji, monitorowaniu i rozwiązywaniu problemów z Scyllą.

Odbiorcy

• Administratorzy baz danych
• Programiści
• Inżynierowie systemowi

Format kursu

• Kurs ma charakter interaktywny i obejmuje dyskusje na temat zasad i podejść do wdrażania i zarządzania rozproszonymi bazami danych i klastrami Scylla.
• Kurs zawiera duży komponent praktycznych ćwiczeń i praktyki.