Szkolenia Big Data w Polsce

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla początkujących specjalistów od danych, którzy chcą zdobyć wiedzę i umiejętności niezbędne do efektywnego wykorzystania Apache Iceberg do zarządzania dużymi zbiorami danych, zapewnienia integralności danych i optymalizacji przepływów pracy przetwarzania danych.Pod koniec tego szkolenia uczestnicy będą mogli

• Dokładnie zrozumieć architekturę, funkcje i zalety Apache Iceberg.
• Dowiedzieć się o formatach tabel, partycjonowaniu, ewolucji schematów i możliwościach podróży w czasie.
• Zainstalować i skonfigurować Apache Iceberg w różnych środowiskach.
• Tworzenie, zarządzanie i manipulowanie tabelami Iceberg.
• Zrozumienie procesu migracji danych z innych formatów tabel do Iceberg.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla średniozaawansowanych specjalistów IT, którzy chcą podnieść swoje umiejętności w zakresie architektury danych, zarządzania, przetwarzania w chmurze i technologii Big Data, aby skutecznie zarządzać i analizować duże zbiory danych w celu migracji danych w swoich organizacjach.Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zrozumieć podstawowe pojęcia i komponenty różnych architektur danych.
• Uzyskać kompleksowe zrozumienie zasad zarządzania danymi i ich znaczenia w środowiskach regulacyjnych.
• Wdrażać i zarządzać strukturami zarządzania danymi, takimi jak Dama i Togaf.
• Wykorzystać platformy chmurowe do wydajnego przechowywania, przetwarzania i zarządzania danymi.

Azure Data Lake Storage Gen2 is a comprehensive and highly scalable data storage service offered by Microsoft Azure that provides a platform for analytics workloads.This instructor-led, live training (online or onsite) is aimed at intermediate-level data engineers who wish to learn how to use Azure Data Lake Storage Gen2 for effective data analytics solutions.By the end of this training, participants will be able to:

• Understand the architecture and key features of Azure Data Lake Storage Gen2.
• Optimize data storage and access for cost and performance.
• Integrate Azure Data Lake Storage Gen2 with other Azure services for analytics and data processing.
• Develop solutions using the Azure Data Lake Storage Gen2 API.
• Troubleshoot common issues and optimize storage strategies.

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla średniozaawansowanych specjalistów IT, którzy chcą mieć kompleksową wiedzę na temat IBM DataStage zarówno z perspektywy administracyjnej, jak i programistycznej, umożliwiając im efektywne zarządzanie i wykorzystywanie tego narzędzia w swoich miejscach pracy.Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zrozumieć podstawowe koncepcje DataStage.
• Dowiedz się, jak skutecznie instalować, konfigurować i zarządzać środowiskami DataStage.
• Łączyć się z różnymi źródłami danych i skutecznie wyodrębniać dane z baz danych, plików płaskich i źródeł zewnętrznych.
• Wdrożyć skuteczne techniki ładowania danych.

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce uczestnicy dowiedzą się, jak używać Python i Spark razem do analizy dużych zbiorów danych podczas praktycznych ćwiczeń. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Dowiedz się, jak używać Sparka z Python do analizy Big Data.
• Pracuj nad ćwiczeniami, które naśladują rzeczywiste przypadki.
• Używaj różnych narzędzi i technik do analizy dużych zbiorów danych za pomocą PySpark.

Ten kurs obejmuje sposób korzystania z języka Hive SQL (AKA: Hive HQL, SQL on Hive, HiveQL) dla osób, które wyodrębniają dane z Hive

Odkrywanie wiedzy w bazach danych (KDD) to proces odkrywania użytecznej wiedzy ze zbioru danych. Rzeczywiste zastosowania tej techniki eksploracji danych obejmują marketing, wykrywanie oszustw, telekomunikację i produkcję. W tym prowadzonym przez instruktora kursie na żywo przedstawiamy procesy związane z KDD i przeprowadzamy serię ćwiczeń, aby przećwiczyć wdrażanie tych procesów. Publiczność

• Analitycy danych lub osoby zainteresowane nauką interpretacji danych w celu rozwiązywania problemów

Format kursu

• Po teoretycznym omówieniu KDD, prowadzący przedstawi rzeczywiste przypadki, które wymagają zastosowania KDD do rozwiązania problemu. Uczestnicy przygotują, wybiorą i oczyszczą przykładowe zestawy danych oraz wykorzystają swoją wcześniejszą wiedzę na temat danych, aby zaproponować rozwiązania oparte na wynikach ich obserwacji.

Apache Kylin to ekstremalny, rozproszony silnik analityczny dla dużych zbiorów danych. W tym prowadzonym przez instruktora szkoleniu na żywo uczestnicy dowiedzą się, jak używać Apache Kylin do konfigurowania hurtowni danych w czasie rzeczywistym. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Wykorzystanie danych strumieniowych w czasie rzeczywistym za pomocą Kylin
• Wykorzystaj potężne funkcje Apache Kylin, bogaty interfejs SQL, kubowanie iskier i opóźnienie zapytań poniżej sekundy.

Uwaga

• Używamy najnowszej wersji Kylin (w chwili pisania tego tekstu, Apache Kylin v2.0)

Publiczność

• Inżynierowie Big Data
• Big Data analitycy

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i ciężka praktyka praktyczna

Dremio to open-source'owa "samoobsługowa platforma danych", która przyspiesza wysyłanie zapytań do różnych typów źródeł danych. Dremio integruje się z relacyjnymi bazami danych, Apache Hadoop, MongoDB, Amazon S3, ElasticSearch i innymi źródłami danych. Obsługuje SQL i zapewnia interfejs użytkownika do tworzenia zapytań. W tym prowadzonym przez instruktora szkoleniu na żywo uczestnicy dowiedzą się, jak zainstalować, skonfigurować i używać Dremio jako warstwy ujednolicającej dla narzędzi do analizy danych i bazowych repozytoriów danych. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalacja i konfiguracja Dremio
• Wykonywanie zapytań do wielu źródeł danych, niezależnie od lokalizacji, rozmiaru lub struktury
• Integracja Dremio z BI i źródłami danych, takimi jak Tableau i Elasticsearch

Publiczność

• Naukowcy zajmujący się danymi
• Analitycy Business
• Inżynierowie danych

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i ciężka praktyka praktyczna

Uwagi

• Aby zamówić niestandardowe szkolenie dla tego kursu, skontaktuj się z nami.

Apache Arrow to open-source'owy framework do przetwarzania danych w pamięci. Jest często używany wraz z innymi narzędziami do nauki o danych w celu uzyskania dostępu do różnych magazynów danych do analizy. Dobrze integruje się z innymi technologiami, takimi jak GPU bazy danych, biblioteki i narzędzia uczenia maszynowego, silniki wykonawcze i ramy wizualizacji danych. W tym instruktażowym szkoleniu na żywo uczestnicy dowiedzą się, jak zintegrować Apache Arrow z różnymi Data Science frameworkami, aby uzyskać dostęp do danych z różnych źródeł danych. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalowanie i konfigurowanie Apache Arrow w rozproszonym środowisku klastrowym
• Używanie Apache Arrow do uzyskiwania dostępu do danych z różnych źródeł danych
• Wykorzystanie Apache Arrow do pominięcia potrzeby tworzenia i utrzymywania złożonych potoków ETL
• Analizuj dane z różnych źródeł danych bez konieczności konsolidowania ich w scentralizowanym repozytorium

Publiczność

• Naukowcy zajmujący się danymi
• Inżynierowie danych

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i ciężka praktyka praktyczna

Uwaga

• Aby zamówić niestandardowe szkolenie dla tego kursu, skontaktuj się z nami.

Postęp technologiczny i rosnąca ilość informacji zmieniają sposób prowadzenia działalności w wielu branżach, w tym w administracji rządowej. [Generowanie danych rządowych i wskaźniki archiwizacji cyfrowej rosną ze względu na szybki rozwój urządzeń i aplikacji mobilnych, inteligentnych czujników i urządzeń, rozwiązań przetwarzania w chmurze i portali skierowanych do obywateli. W miarę jak informacje cyfrowe stają się coraz bardziej złożone, zarządzanie nimi, ich przetwarzanie, przechowywanie, zabezpieczanie i usuwanie również staje się bardziej złożone. Nowe narzędzia do przechwytywania, wyszukiwania, odkrywania i analizy pomagają organizacjom uzyskać wgląd w nieustrukturyzowane dane. Rynek rządowy znajduje się w punkcie zwrotnym, zdając sobie sprawę, że informacje są strategicznym zasobem, a rząd musi chronić, wykorzystywać i analizować zarówno ustrukturyzowane, jak i nieustrukturyzowane informacje, aby lepiej służyć i spełniać wymagania misji. W miarę jak liderzy rządowi dążą do ewolucji organizacji opartych na danych, aby skutecznie realizować misję, kładą podwaliny pod korelację zależności między zdarzeniami, ludźmi, procesami i informacjami. Rozwiązania rządowe o wysokiej wartości będą tworzone z połączenia najbardziej przełomowych technologii:

• Urządzenia i aplikacje mobilne
• Usługi w chmurze
• Społecznościowe technologie biznesowe i sieci
• Big Data i analityka

IDC przewiduje, że do 2020 roku branża IT osiągnie wartość 5 bilionów dolarów, czyli o około 1,7 biliona dolarów więcej niż obecnie, a 80% wzrostu branży będzie napędzane przez technologie trzeciej platformy. W dłuższej perspektywie technologie te będą kluczowymi narzędziami do radzenia sobie ze złożonością coraz większej ilości informacji cyfrowych. Big Data jest jednym z inteligentnych rozwiązań branżowych i umożliwia rządowi podejmowanie lepszych decyzji poprzez podejmowanie działań w oparciu o wzorce ujawnione w wyniku analizy dużych ilości danych - powiązanych i niepowiązanych, ustrukturyzowanych i nieustrukturyzowanych. Osiągnięcie tych celów wymaga jednak znacznie więcej niż tylko gromadzenia ogromnych ilości danych. "Nadanie sensu tym objętościom Big Data wymaga najnowocześniejszych narzędzi i technologii, które mogą analizować i wydobywać użyteczną wiedzę z ogromnych i różnorodnych strumieni informacji"” Tom Kalil i Fen Zhao z Biura Polityki Naukowej i Technologicznej Białego Domu napisali w poście na blogu OSTP. Biały Dom zrobił krok w kierunku pomocy agencjom w znalezieniu tych technologii, ustanawiając w 2012 roku Narodową Inicjatywę Badań i Rozwoju Big Data. Inicjatywa ta obejmowała ponad 200 milionów dolarów na maksymalne wykorzystanie eksplozji Big Data i narzędzi potrzebnych do jej analizy. Wyzwania, jakie stawia Big Data, są niemal tak zniechęcające, jak zachęcająca jest jego obietnica. Jednym z nich jest efektywne przechowywanie danych. Jak zawsze, budżety są napięte, więc agencje muszą zminimalizować cenę za megabajt pamięci masowej i przechowywać dane w łatwo dostępnym miejscu, aby użytkownicy mogli je uzyskać, kiedy chcą i jak tego potrzebują. Tworzenie kopii zapasowych ogromnych ilości danych zwiększa wyzwanie. Skuteczna analiza danych jest kolejnym poważnym wyzwaniem. Wiele agencji korzysta z komercyjnych narzędzi, które pozwalają im przeszukiwać góry danych, dostrzegając trendy, które mogą pomóc im działać bardziej efektywnie. (Niedawne badanie przeprowadzone przez MeriTalk wykazało, że federalni dyrektorzy IT uważają, że Big Data może pomóc agencjom zaoszczędzić ponad 500 miliardów dolarów, jednocześnie spełniając cele misji). Opracowane na zamówienie narzędzia Big Data również pozwalają agencjom zaspokoić potrzebę analizy ich danych. Na przykład Oak Ridge National Laboratory’s Computational Data Analytics Group udostępniła swój system analizy danych Piranha innym agencjom. System ten pomógł badaczom medycznym znaleźć powiązanie, które może ostrzegać lekarzy o tętniakach aorty przed ich wystąpieniem. Jest on również wykorzystywany do bardziej przyziemnych zadań, takich jak przeszukiwanie danych w celu połączenia kandydatów do pracy z menedżerami ds. rekrutacji.

Publiczność Jeśli próbujesz nadać sens danym, do których masz dostęp lub chcesz analizować nieustrukturyzowane dane dostępne w sieci (takie jak Twitter, LinkedIn itp.), ten kurs jest dla Ciebie. Jest on skierowany głównie do decydentów i osób, które muszą wybrać, jakie dane warto gromadzić i co warto analizować. Nie jest on skierowany do osób konfigurujących rozwiązanie, jednak osoby te skorzystają z szerszej perspektywy. Tryb dostawy Podczas kursu delegaci zostaną zapoznani z działającymi przykładami głównie technologii open source. Po krótkich wykładach odbędzie się prezentacja i proste ćwiczenia dla uczestników. Używana zawartość i oprogramowanie Całe używane oprogramowanie jest aktualizowane za każdym razem, gdy kurs jest uruchamiany, więc sprawdzamy najnowsze możliwe wersje. Obejmuje proces pozyskiwania, formatowania, przetwarzania i analizowania danych, aby wyjaśnić, jak zautomatyzować proces podejmowania decyzji za pomocą uczenia maszynowego.

Dzień 1 - zapewnia ogólny przegląd najważniejszych Big Data obszarów tematycznych. Moduł jest podzielony na szereg sekcji, z których każdej towarzyszy praktyczne ćwiczenie. Dzień 2 - omawia szereg tematów związanych z praktykami analitycznymi i narzędziami dla środowisk Big Data. Nie wchodzi w szczegóły implementacji lub programowania, ale zamiast tego utrzymuje zasięg na poziomie koncepcyjnym, koncentrując się na tematach, które umożliwiają uczestnikom kompleksowe zrozumienie wspólnych funkcji analizy i funkcji oferowanych przez rozwiązania Big Data. Dzień 3 - zawiera przegląd podstawowych i istotnych obszarów tematycznych związanych z architekturą platformy rozwiązań Big Data. Obejmuje mechanizmy Big Data wymagane do opracowania platformy rozwiązań Big Data i opcje architektoniczne do montażu platformy przetwarzania danych. Przedstawiono również typowe scenariusze, aby zapewnić podstawowe zrozumienie, w jaki sposób platforma rozwiązań Big Data jest ogólnie używana; Dzień 4 - opiera się na Dniu 3, badając zaawansowane tematy związane z architekturą platformy rozwiązań Big Data. W szczególności wprowadzane i omawiane są różne warstwy architektoniczne, które składają się na platformę rozwiązań Big Data, w tym źródła danych, pozyskiwanie danych, przechowywanie danych, przetwarzanie danych i bezpieczeństwo; Dzień 5 - obejmuje szereg ćwiczeń i problemów mających na celu sprawdzenie umiejętności delegatów w zakresie stosowania wiedzy z tematów omówionych w dniu 3 i 4;

Big Data to termin odnoszący się do rozwiązań przeznaczonych do przechowywania i przetwarzania dużych zbiorów danych. Opracowane początkowo przez Google rozwiązania Big Data ewoluowały i zainspirowały inne podobne projekty, z których wiele jest dostępnych jako open-source. R jest popularnym językiem programowania w branży finansowej.

Gdy tradycyjne technologie pamięci masowej nie radzą sobie z ilością danych, które trzeba przechowywać, istnieją setki alternatyw. Ten kurs stara się wskazać uczestnikom, jakie są alternatywy dla przechowywania i analizowania Big Data oraz jakie są ich zalety i wady. Kurs ten koncentruje się głównie na dyskusji i prezentacji rozwiązań, choć na żądanie dostępne są ćwiczenia praktyczne.

Kurs jest częścią zestawu umiejętności Data Scientist (Domena: Dane i technologia).

Big data to zbiory danych, które są tak obszerne i złożone, że tradycyjne aplikacje do przetwarzania danych nie są w stanie sobie z nimi poradzić. Wyzwania związane z dużymi zbiorami danych obejmują przechwytywanie danych, przechowywanie danych, analizę danych, wyszukiwanie, udostępnianie, przesyłanie, wizualizację, zapytania, aktualizację i prywatność informacji.

Aby spełnić wymagania organów regulacyjnych, dostawcy usług CSP (Communication) mogą wykorzystać analitykę dużych zbiorów danych, która nie tylko pomoże im spełnić wymagania, ale w ramach tego samego projektu może zwiększyć zadowolenie klientów, a tym samym zmniejszyć liczbę rezygnacji. W rzeczywistości, ponieważ  zgodność jest związana z jakością usług związanych z umową, każda inicjatywa mająca na celu spełnienie  zgodności, poprawi “przewagę konkurencyjną” CSP. Dlatego ważne jest, aby organy regulacyjne były w stanie doradzić/poprowadzić zestaw praktyk analitycznych Big Data dla CSP, które przyniosą obopólne korzyści organom regulacyjnym i CSP. Kurs składa się z 8 modułów (4 w dniu 1 i 4 w dniu 2)

Postęp technologiczny i rosnąca ilość informacji zmieniają sposób egzekwowania prawa. Wyzwania stawiane przez Big Data są prawie tak samo zniechęcające, jak obietnica Big Data. Efektywne przechowywanie danych jest jednym z tych wyzwań; skuteczna ich analiza jest kolejnym. W tym prowadzonym przez instruktora szkoleniu na żywo uczestnicy poznają sposób myślenia, z jakim należy podejść do technologii Big Data, ocenić ich wpływ na istniejące procesy i polityki oraz wdrożyć te technologie w celu identyfikacji działalności przestępczej i zapobiegania przestępczości. Przeanalizowane zostaną studia przypadków z organizacji zajmujących się egzekwowaniem prawa na całym świecie, aby uzyskać wgląd w ich podejścia, wyzwania i wyniki. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Łączenie technologii Big Data z tradycyjnymi procesami gromadzenia danych w celu złożenia historii podczas dochodzenia
• Wdrożenie przemysłowych rozwiązań w zakresie przechowywania i przetwarzania dużych zbiorów danych do analizy danych
• Przygotowanie propozycji przyjęcia najbardziej adekwatnych narzędzi i procesów w celu umożliwienia opartego na danych podejścia do dochodzenia w sprawach karnych.

Publiczność

• Specjaliści ds. egzekwowania prawa z wykształceniem technicznym

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i ciężka praktyka praktyczna

Ta sesja szkoleniowa oparta na klasie zbada Big Data. Delegaci będą mieli komputerowe przykłady i ćwiczenia studium przypadku do podjęcia z odpowiednimi narzędziami big data

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla osób technicznych, które chcą dowiedzieć się, jak wdrożyć strategię uczenia maszynowego, jednocześnie maksymalizując wykorzystanie dużych zbiorów danych. Po zakończeniu tego szkolenia uczestnicy będą

• Zrozumienie ewolucji i trendów w uczeniu maszynowym.
• Zapoznanie się ze sposobami wykorzystania uczenia maszynowego w różnych branżach.
• Zapoznanie się z narzędziami, umiejętnościami i usługami dostępnymi w celu wdrożenia uczenia maszynowego w organizacji.
• Zrozumienie, w jaki sposób uczenie maszynowe może być wykorzystywane do ulepszania eksploracji i analizy danych.
• Dowiedz się, czym jest pośredni backend danych i jak jest on wykorzystywany przez firmy.
• Zrozumienie roli, jaką odgrywają duże zbiory danych i inteligentne aplikacje w różnych branżach.

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla inżynierów oprogramowania, którzy chcą korzystać z Sqoop i Flume dla dużych zbiorów danych. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zagnieżdżanie dużych zbiorów danych za pomocą Sqoop i Flume.
• Pozyskiwanie danych z wielu źródeł danych.
• Przenoszenie danych z relacyjnych baz danych do HDFS i Hive.
• Eksportowanie danych z HDFS do relacyjnej bazy danych.

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla osób technicznych, które chcą wdrożyć Talend Open Studio for Big Data w celu uproszczenia procesu odczytu i analizy Big Data. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalacja i konfiguracja Talend Open Studio for Big Data.
• Połącz się z systemami Big Data, takimi jak Cloudera, HortonWorks, MapR, Amazon EMR i Apache.
• Zrozumienie i skonfigurowanie komponentów i konektorów Big Data w Open Studio.
• Konfiguracja parametrów do automatycznego generowania kodu MapReduce.
• Używanie interfejsu "przeciągnij i upuść" Open Studio do uruchamiania zadań Hadoop.
• Tworzenie prototypów potoków dużych zbiorów danych.
• Automatyzuj projekty integracji dużych zbiorów danych.

W tym instruktażowym szkoleniu na żywo w Polsce uczestnicy dowiedzą się, jak zbudować Data Vault. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zrozumienie architektury i koncepcji projektowych stojących za Data Vault 2.0 oraz jego interakcji z Big Data, NoSQL i AI.
• Używanie technik składowania danych w celu umożliwienia audytu, śledzenia i inspekcji danych historycznych w hurtowni danych.
• Rozwijanie spójnego i powtarzalnego procesu ETL (Extract, Transform, Load).
• Budowanie i wdrażanie wysoce skalowalnych i powtarzalnych hurtowni.

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla inżynierów danych, analityków danych i programistów, którzy chcą korzystać z funkcji Spark Streaming w przetwarzaniu i analizowaniu danych w czasie rzeczywistym. Pod koniec tego szkolenia uczestnicy będą mogli używać Spark Streaming do przetwarzania strumieni danych na żywo do wykorzystania w bazach danych, systemach plików i pulpitach nawigacyjnych na żywo.

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla programistów, którzy chcą wdrożyć przetwarzanie strumieniowe Apache Kafka bez pisania kodu. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalacja i konfiguracja Confluent KSQL.
• Ustawienie potoku przetwarzania strumieniowego przy użyciu tylko poleceń SQL (bez kodowania Java lub Python).
• Przeprowadzanie filtrowania danych, transformacji, agregacji, łączenia, okienkowania i sesjonowania całkowicie w SQL.
• Projektowanie i wdrażanie interaktywnych, ciągłych zapytań dla strumieniowego ETL i analizy w czasie rzeczywistym.

To prowadzone przez instruktora szkolenie na żywo (online lub na miejscu) jest przeznaczone dla programistów, którzy chcą poznać zasady działania trwałej i czystej pamięci masowej, przechodząc przez proces tworzenia przykładowego projektu obliczeniowego w pamięci. Po zakończeniu tego szkolenia uczestnicy będą w stanie

Używaj Ignite do utrzymywania danych w pamięci, na dysku, a także jako czysto rozproszonej bazy danych w pamięci. Osiągnięcie trwałości bez synchronizowania danych z powrotem do relacyjnej bazy danych. Wykorzystanie Ignite do wykonywania SQL i rozproszonych złączeń. Poprawa wydajności poprzez przeniesienie danych bliżej procesora, wykorzystując pamięć RAM jako pamięć masową. Rozproszenie zestawów danych w klastrze w celu osiągnięcia skalowalności poziomej. Integracja Ignite z RDBMS, NoSQL, Hadoop i procesorami uczenia maszynowego.

Format kursu

• Interaktywny wykład i dyskusja.
• Dużo ćwiczeń i praktyki.
• Praktyczna implementacja w środowisku laboratoryjnym.

Opcje dostosowywania kursu

• Aby poprosić o niestandardowe szkolenie dla tego kursu, skontaktuj się z nami w celu jego zorganizowania.

Apache Beam to otwarty, zunifikowany model programowania do definiowania i wykonywania równoległych potoków przetwarzania danych. Jego siła tkwi w możliwości uruchamiania zarówno potoków wsadowych, jak i strumieniowych, przy czym wykonanie jest przeprowadzane przez jeden z obsługiwanych przez Beam back-endów przetwarzania rozproszonego: Apache Apex, Apache Flink, Apache Spark i Google Cloud Dataflow. Apache Beam jest przydatny do zadań ETL (Extract, Transform, and Load), takich jak przenoszenie danych między różnymi nośnikami pamięci i źródłami danych, przekształcanie danych w bardziej pożądany format i ładowanie danych do nowego systemu. W tym prowadzonym przez instruktora szkoleniu na żywo (na miejscu lub zdalnie) uczestnicy dowiedzą się, jak zaimplementować Apache Beam SDK w aplikacji Java lub Python, która definiuje potok przetwarzania danych w celu dekompozycji dużego zbioru danych na mniejsze fragmenty w celu niezależnego, równoległego przetwarzania. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zainstalować i skonfigurować Apache Beam.
• Wykorzystanie jednego modelu programowania do przetwarzania wsadowego i strumieniowego z poziomu aplikacji Java lub Python.
• Wykonywanie potoków w wielu środowiskach.

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i ciężka praktyka praktyczna

Uwaga

• Ten kurs będzie dostępny Scala w przyszłości. Prosimy o kontakt w celu ustalenia szczegółów.

Apache Apex to natywna platforma YARN, która łączy przetwarzanie strumieniowe i wsadowe. Przetwarza duże ilości danych w ruchu w sposób skalowalny, wydajny, odporny na błędy, stanowy, bezpieczny, rozproszony i łatwy w obsłudze. To prowadzone przez instruktora szkolenie na żywo wprowadza ujednoliconą architekturę przetwarzania strumieniowego Apache Apex i prowadzi uczestników przez tworzenie rozproszonej aplikacji przy użyciu Apex na Hadoop. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zrozumieć koncepcje potoku przetwarzania danych, takie jak łączniki dla źródeł i zlewów, typowe transformacje danych itp.
• Tworzenie, skalowanie i optymalizacja aplikacji Apex
• Niezawodne przetwarzanie strumieni danych w czasie rzeczywistym z minimalnymi opóźnieniami
• Korzystanie z Apex Core i biblioteki Apex Malhar w celu umożliwienia szybkiego tworzenia aplikacji
• Korzystanie z interfejsu API Apex do pisania i ponownego wykorzystywania istniejącego Java kodu
• Zintegruj Apex z innymi aplikacjami jako silnik przetwarzania
• Dostrajanie, testowanie i skalowanie aplikacji Apex

Format kursu

• Interaktywny wykład i dyskusja.
• Dużo ćwiczeń i praktyki.
• Praktyczne wdrożenie w środowisku live-lab.

Opcje dostosowywania kursu

• Aby zamówić niestandardowe szkolenie dla tego kursu, skontaktuj się z nami.

Apache Storm to rozproszony silnik obliczeniowy działający w czasie rzeczywistym, wykorzystywany do zapewniania analizy biznesowej w czasie rzeczywistym. Czyni to poprzez umożliwienie aplikacjom niezawodnego przetwarzania nieograniczonych strumieni danych (tzw. przetwarzanie strumieniowe). "Storm jest dla przetwarzania w czasie rzeczywistym tym, czym Hadoop jest dla przetwarzania wsadowego!"; Podczas tego prowadzonego przez instruktora szkolenia na żywo uczestnicy dowiedzą się, jak zainstalować i skonfigurować Apache Storm, a następnie opracować i wdrożyć aplikację Apache Storm do przetwarzania dużych zbiorów danych w czasie rzeczywistym. Niektóre z tematów zawartych w tym szkoleniu obejmują:

• Apache Storm w kontekście Hadoop
• Praca z nieograniczonymi danymi
• Obliczenia ciągłe
• Analityka w czasie rzeczywistym
• Rozproszone przetwarzanie RPC i ETL

Zamów ten kurs już teraz! Publiczność

• Deweloperzy oprogramowania i ETL
• Specjaliści Mainframe
• Naukowcy zajmujący się danymi
• Analitycy dużych zbiorów danych
• Specjaliści Hadoop

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i ciężka praktyka praktyczna

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce (na miejscu lub zdalnie) uczestnicy dowiedzą się, jak wdrożyć i zarządzać Apache NiFi w środowisku laboratoryjnym na żywo. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalacja i konfiguracja Apachi NiFi.
• Pobieranie, przekształcanie i zarządzanie danymi z różnych, rozproszonych źródeł danych, w tym baz danych i dużych jezior danych.
• Automatyzuj przepływy danych.
• Włącz analitykę strumieniową.
• Zastosowanie różnych podejść do pozyskiwania danych.
• Przekształcanie danych Big Data w informacje biznesowe.

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce uczestnicy poznają podstawy programowania opartego na przepływie, opracowując szereg rozszerzeń demonstracyjnych, komponentów i procesorów przy użyciu Apache NiFi. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zrozumienie architektury NiFi i koncepcji przepływu danych.
• Rozwijanie rozszerzeń przy użyciu NiFi i interfejsów API innych firm.
• Rozwijanie własnego procesora Apache Nifi.
• Pozyskiwanie i przetwarzanie danych w czasie rzeczywistym z różnych i nietypowych formatów plików i źródeł danych.

To prowadzone przez instruktora szkolenie na żywo w Polsce  (online lub na miejscu) wprowadza zasady i podejścia stojące za rozproszonym przetwarzaniem danych strumieniowych i wsadowych oraz prowadzi uczestników przez tworzenie aplikacji do strumieniowego przesyłania danych w czasie rzeczywistym w Apache Flink. Po zakończeniu tego szkolenia uczestnicy będą w stanie

Konfiguracja środowiska do tworzenia aplikacji do analizy danych. Zrozumienie działania biblioteki przetwarzania grafów (Gelly) Apache Flink. Pakowanie, wykonywanie i monitorowanie opartych na Flink, odpornych na błędy aplikacji do strumieniowego przesyłania danych. Zarządzaj różnorodnymi obciążeniami. Wykonywanie zaawansowanych analiz. Konfigurowanie wielowęzłowego klastra Flink. Mierzyć i optymalizować wydajność. Integracja Flink z różnymi Big Data systemami. Porównywanie możliwości Flink z możliwościami innych platform przetwarzania dużych zbiorów danych.

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce uczestnicy zapoznają się z ofertą technologiczną i podejściami wdrożeniowymi do przetwarzania danych grafowych. Celem jest identyfikacja obiektów świata rzeczywistego, ich cech i relacji, a następnie modelowanie tych relacji i przetwarzanie ich jako danych przy użyciu podejścia Graph Computing (znanego również jako Graph Analytics). Zaczniemy od szerokiego przeglądu i zawęzimy się do konkretnych narzędzi, przechodząc przez serię studiów przypadków, ćwiczeń praktycznych i wdrożeń na żywo. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zrozumienie, w jaki sposób dane grafowe są utrwalane i przetwarzane.
• Wybór najlepszego frameworka dla danego zadania (od baz danych grafów do frameworków przetwarzania wsadowego).
• Wdrożenie Hadoop, Spark, GraphX i Pregel do równoległego przetwarzania grafów na wielu maszynach.
• Spojrzenie na rzeczywiste problemy związane z dużymi zbiorami danych w kategoriach grafów, procesów i przejść.

MLlib to biblioteka Spark’s do uczenia maszynowego (ML). Jej celem jest uczynienie praktycznego uczenia maszynowego skalowalnym i łatwym. Składa się z popularnych algorytmów uczenia się i narzędzi, w tym klasyfikacji, regresji, klastrowania, filtrowania opartego na współpracy, redukcji wymiarowości, a także prymitywów optymalizacji niższego poziomu i interfejsów API potoków wyższego poziomu. Dzieli się na dwa pakiety:

• spark.mllib zawiera oryginalny interfejs API zbudowany na bazie RDD.
• spark.ml zapewnia API wyższego poziomu zbudowane na DataFrames do konstruowania potoków ML.

  Publiczność Ten kurs jest skierowany do inżynierów i programistów, którzy chcą korzystać z wbudowanej biblioteki maszynowej dla Apache Spark

Ten kurs jest skierowany do programistów i naukowców zajmujących się danymi, którzy chcą zrozumieć i wdrożyć sztuczną inteligencję w swoich aplikacjach. Szczególna uwaga poświęcona jest analizie danych, rozproszonej sztucznej inteligencji i przetwarzaniu języka naturalnego.

Ten prowadzony przez instruktora trening na żywo w Polsce (online lub na miejscu) wprowadza Hortonworks Data Platform (HDP) i przeprowadza uczestników przez wdrożenie rozwiązania Spark + Hadoop. Po zakończeniu tego szkolenia uczestnicy będą w stanie

Wykorzystaj Hortonworks do niezawodnego uruchamiania Hadoop na dużą skalę. Ujednolicenie zabezpieczeń, zarządzania i możliwości operacyjnych Hadoop ze zwinnymi analitycznymi przepływami pracy Spark. Wykorzystaj Hortonworks do badania, walidacji, certyfikacji i wsparcia każdego z komponentów projektu Spark. Przetwarzanie różnych typów danych, w tym ustrukturyzowanych, nieustrukturyzowanych, w ruchu i w spoczynku.

Apache Ambari to platforma zarządzania typu open-source do udostępniania, zarządzania, monitorowania i zabezpieczania klastrów Apache Hadoop. W tym instruktażowym szkoleniu na żywo uczestnicy poznają narzędzia i praktyki zarządzania dostarczane przez Ambari w celu skutecznego zarządzania klastrami Hadoop. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Konfiguracja klastra Big Data na żywo przy użyciu Ambari
• Zastosowanie zaawansowanych funkcji i funkcjonalności Ambari w różnych przypadkach użycia
• Płynne dodawanie i usuwanie węzłów w razie potrzeby
• Poprawa wydajności klastra Hadoop poprzez dostrajanie i modyfikowanie

Publiczność

• DevOps
• Administratorzy systemów
• DBA
• Hadoop Specjaliści ds. testowania

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i ciężka praktyka praktyczna

Cloudera Impala to silnik zapytań typu open source do masowego przetwarzania równoległego (MPP) SQL dla klastrów Apache Hadoop. Impala umożliwia użytkownikom wysyłanie zapytań o niskim opóźnieniu SQL do danych przechowywanych w rozproszonym systemie plików Hadoop i Apache Hbase bez konieczności przenoszenia lub przekształcania danych. Publiczność Ten kurs jest skierowany do analityków i badaczy danych przeprowadzających analizy danych przechowywanych w Hadoop za pośrednictwem narzędzi Business Intelligence lub SQL. Po tym kursie uczestnicy będą w stanie

• Wydobywanie istotnych informacji z klastrów Hadoop za pomocą Impala.
• Pisanie konkretnych programów w celu ułatwienia analizy biznesowej w Impala SQL Dialect.
• Rozwiązywanie problemów z Impalą.

Ten prowadzony przez instruktora trening na żywo w Polsce (online lub na miejscu) jest skierowany do architektów, programistów i administratorów, którzy chcą korzystać z Denodo Platform w celu optymalizacji i przyspieszenia zarządzania danymi poprzez wirtualizację danych. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalacja i konfiguracja platformy Denodo.
• Zrozumienie funkcji i architektury platformy Denodo.
• Zrozumienie kluczowych pojęć, korzyści i przypadków użycia wirtualizacji danych.
• Dowiedz się, jak skonfigurować i zarządzać serwerem Denodo Platform.
• Wdrażanie zabezpieczeń danych, dostępu użytkowników i uwierzytelniania usług.
• Zastosowanie narzędzi i technik monitorowania operacji i optymalizacji wydajności.

To prowadzone przez instruktora szkolenie na żywo w Polsce (online lub na miejscu) jest przeznaczone dla naukowców zajmujących się danymi, którzy chcą używać Apache Airflow do tworzenia i zarządzania kompleksowymi potokami danych. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalacja i konfiguracja Apache Airflow.
• Autorstwo, planowanie i monitorowanie złożonych potoków danych
• Zarządzaj wieloma operacjami ETL (Extract, Extract, Transform, Load).
• Skaluj i zabezpieczaj Apache Airflow.

Apache Hama jest frameworkiem opartym na modelu obliczeniowym Bulk Synchronous Parallel (BSP) i jest wykorzystywany głównie do Big Data analityki. W tym prowadzonym przez instruktora szkoleniu na żywo uczestnicy poznają podstawy Apache Hama, przechodząc przez proces tworzenia aplikacji opartej na BSP i programu skoncentrowanego na wierzchołkach przy użyciu frameworków Apache Hama. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalowanie i konfigurowanie Apache Hama
• Zrozumienie podstaw Apache Hama i modelu programowania Bulk Synchronous Parallel (BSP)
• Tworzenie programu opartego na BSP przy użyciu Apache Hama BSP framework
• Tworzenie programu skoncentrowanego na wierzchołkach przy użyciu Apache Hama Graph Framework
• Tworzenie, testowanie i debugowanie własnych aplikacji Apache Hama

Publiczność

• Deweloperzy

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i ciężka praktyka praktyczna

Uwaga

• Aby zamówić niestandardowe szkolenie dla tego kursu, skontaktuj się z nami.

To prowadzone przez instruktora szkolenie na żywo wprowadza koncepcje interaktywnej analizy danych i przeprowadza uczestników przez proces wdrażania i użytkowania Zeppelin w środowisku jednego lub wielu użytkowników. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalacja i konfiguracja Zeppelin
• Rozwijaj, organizuj, wykonuj i udostępniaj dane w interfejsie opartym na przeglądarce
• Wizualizacja wyników bez odwoływania się do wiersza poleceń lub szczegółów klastra
• Wykonuj i współpracuj nad długimi przepływami pracy
• Współpracuj z dowolną liczbą wtyczek do języków/backendów przetwarzania danych, takich jak Scala (z Apache Spark), Python (z Apache Spark), Spark SQL, JDBC, Markdown i Shell.
• Integracja Zeppelin z Spark, Flink i Map Reduce
• Zabezpieczenie instancji Zeppelin dla wielu użytkowników za pomocą Apache Shiro

Apache Accumulo to posortowany, rozproszony magazyn kluczy/wartości, który zapewnia solidne, skalowalne przechowywanie i wyszukiwanie danych. Opiera się na projekcie Google BigTable i jest zasilany przez Apache Hadoop, Apache Zookeeper i Apache Thrift. Ten prowadzony przez instruktora kurs na żywo obejmuje zasady działania Accumulo i przeprowadza uczestników przez proces tworzenia przykładowej aplikacji na Apache Accumulo. Format kursu Część wykładu, część dyskusji, praktyczne opracowywanie i wdrażanie, okazjonalne testy w celu oceny zrozumienia

Apache Druid to otwarty, kolumnowy, rozproszony magazyn danych napisany w Javie. Został zaprojektowany do szybkiego pozyskiwania ogromnych ilości danych o zdarzeniach i wykonywania na nich zapytań OLAP o niskim opóźnieniu. Druid jest powszechnie stosowany w aplikacjach Business Intelligence do analizy dużych ilości danych historycznych i w czasie rzeczywistym. Doskonale nadaje się również do zasilania szybkich, interaktywnych, analitycznych pulpitów nawigacyjnych dla użytkowników końcowych. Druid jest używany przez takie firmy jak Alibaba, Airbnb, Cisco, eBay, Netflix, Paypal i Yahoo. W tym prowadzonym przez instruktora kursie na żywo badamy niektóre ograniczenia rozwiązań hurtowni danych i omawiamy, w jaki sposób Druid może uzupełniać te technologie, tworząc elastyczny i skalowalny stos analityki strumieniowej. Omawiamy wiele przykładów, oferując uczestnikom możliwość wdrożenia i przetestowania rozwiązań opartych na Druidzie w środowisku laboratoryjnym. Format kursu Część wykładu, część dyskusji, intensywne ćwiczenia praktyczne, okazjonalne testy sprawdzające zrozumienie tematu.

MemSQL to rozproszony system zarządzania bazą danych SQL w pamięci dla chmury i lokalnie. Jest to hurtownia danych w czasie rzeczywistym, która natychmiast zapewnia wgląd w dane bieżące i historyczne. W tym prowadzonym przez instruktora szkoleniu na żywo uczestnicy poznają podstawy MemSQL w zakresie rozwoju i administracji. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zrozumienie kluczowych pojęć i cech MemSQL
• Instalować, projektować, utrzymywać i obsługiwać MemSQL
• Optymalizacja schematów w MemSQL
• Ulepszanie zapytań w MemSQL
• Testowanie wydajności w MemSQL
• Tworzenie aplikacji danych w czasie rzeczywistym przy użyciu MemSQL

Publiczność

• Deweloperzy
• Administratorzy
• Inżynierowie operacyjni

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i ciężka praktyka praktyczna

Amazon Redshift to chmurowa usługa hurtowni danych w AWS o skali petabajtów. W tym prowadzonym przez instruktora szkoleniu na żywo uczestnicy poznają podstawy Amazon Redshift. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalacja i konfiguracja Amazon Redshift
• Ładowanie, konfigurowanie, wdrażanie, wysyłanie zapytań i wizualizacja danych za pomocą Amazon Redshift

Publiczność

• Programiści
• Specjaliści IT

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i ciężka praktyka praktyczna

Uwaga

• Aby zamówić niestandardowe szkolenie dla tego kursu, skontaktuj się z nami.

To prowadzone przez instruktora szkolenie na żywo w Polsce (online lub na miejscu) jest przeznaczone dla programistów, którzy chcą skonfigurować wielowęzłową bazę danych Greenplum. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalacja i konfiguracja Pivotal Greenplum.
• Modelowanie danych zgodnie z bieżącymi potrzebami i przyszłymi planami ekspansji.
• Wdrażanie różnych technik dystrybucji danych na wielu węzłach.
• Poprawa wydajności bazy danych poprzez tuning.
• Monitorowanie i rozwiązywanie problemów z bazą danych Greenplum.

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla administratorów, którzy chcą skonfigurować Greenplum Database dla rozwiązań Business Intelligence i hurtowni danych. Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zaspokajaj potrzeby związane z przetwarzaniem za pomocą Greenplum.
• Wykonywanie operacji ETL w celu przetwarzania danych.
• Wykorzystanie istniejącej infrastruktury przetwarzania zapytań.

Snowflake to platforma przechowywania danych w chmurze, która oferuje szerokie możliwości przetwarzania i analizy dużych zbiorów danych. Jest to rozwiązanie typu Software-as-a-Service (SaaS), które łączy w sobie elastyczność i skalowalność chmury z możliwościami zaawansowanego magazynu danych. Kluczowe cechy i funkcje Snowflake obejmują:Architektura oparta na chmurze: Snowflake jest zbudowany w chmurze i zoptymalizowany pod kątem elastyczności i wydajności, co pozwala na łatwą skalowalność zasobów do przechowywania i przetwarzania danych.Rozdzielenie obciążenia magazynowania i przetwarzania: Unikalna architektura Snowflake rozdziela obciążenie magazynowania danych od obciążenia przetwarzania, co pozwala na niezależne skalowanie i optymalizację tych dwóch aspektów.Wsparcie dla różnorodnych danych: Snowflake umożliwia przechowywanie i analizę różnorodnych typów danych, w tym danych strukturalnych, półstrukturalnych (np. JSON, XML) i niestrukturalnych.Wysoka wydajność i optymalizacja zapytań: System oferuje szybkie przetwarzanie zapytań i automatyczną optymalizację, co pozwala na efektywne wykonywanie złożonych analiz na dużych zbiorach danych.Zabezpieczenia i zarządzanie dostępem: Snowflake zapewnia zaawansowane funkcje bezpieczeństwa, w tym szyfrowanie danych, zarządzanie dostępem na poziomie ról i audytowanie.Łatwość integracji: Platforma łatwo integruje się z popularnymi narzędziami i usługami ETL, BI oraz analizy danych, co pozwala na tworzenie kompleksowych rozwiązań analitycznych.Elastyczność i skalowalność kosztów: Model płatności oparty na użyciu pozwala na optymalizację kosztów i płacenie tylko za faktycznie wykorzystane zasoby.Uniwersalność zastosowań: Snowflake jest odpowiedni dla różnych przypadków użycia, od prostych analiz BI po zaawansowane przetwarzanie danych, w tym analizy big data, machine learning i inne.