Szkolenia Big Data w Polsce

Uczestnicy, którzy ukończą to prowadzone przez instruktora szkolenie na żywo w Polsce, zdobędą praktyczne, rzeczywiste zrozumienie Big Data i powiązanych z nim technologii, metodologii i narzędzi.

Uczestnicy będą mieli okazję wykorzystać tę wiedzę w praktyce poprzez praktyczne ćwiczenia. Interakcja w grupie i informacje zwrotne od instruktora stanowią ważny element zajęć.

Kurs rozpoczyna się od wprowadzenia do podstawowych koncepcji Big Data, a następnie przechodzi do języków programowania i metodologii wykorzystywanych do realizacji Data Analysis. Na koniec omawiamy narzędzia i infrastrukturę, które umożliwiają Big Data przechowywanie, przetwarzanie rozproszone i Scala bility.

Greenplum to otwarta platforma przetwarzania masowo równoległego (MPP) przeznaczona dla analityki i dużej skali danych.

Ten prowadzony przez instruktora kurs (online lub na miejscu) jest skierowany do użytkowników technicznych o poziomie zaawansowanym do bardzo zaawansowanym, którzy chcą zrozumieć wewnętrzną architekturę Greenplum, budować optymalizowane modele danych i stosować wysokowydajne SQL w rozproszonych środowiskach.

Po zakończeniu tego szkolenia uczestnicy będą w stanie:

• Zrozumieć architekturę shared-nothing Greenplum i model równoległości.
• Projektować rozproszone struktury tabel i partycje optymalizowane dla wydajności zapytań.
• Używać strategii indeksowania, formatów przechowywania i technik projektowania fizycznego.
• Interpretować plany EXPLAIN i optymalizować zapytania za pomocą najlepszych praktyk.

Format kursu

• Interaktywne wykłady i dyskusje.
• Wiele ćwiczeń i praktyki.
• Ręczne wdrażanie w środowisku labora-torium na żywo.

Opcje dostosowania kursu

• Aby zapytać o dostosowany kurs dla tego szkolenia, prosimy o kontakt, aby umówić się.

Confluent Apache Kafka jest rozproszoną platformą do przesyłania strumieni zdarzeń zaprojektowaną dla wysokoprzepustowych, odpornych na awarie kanałów danych oraz analiz w czasie rzeczywistym.

To szkolenie prowadzone przez instruktora (online lub stacjonarnie) jest skierowane do systemowych administratorów średniego poziomu oraz DevOps profesjonalistów, którzy chcą zainstalować, skonfigurować, monitorować i naprawiać klastery Confluent Apache Kafka.

Na zakończenie tego szkolenia uczestnicy będą w stanie:

• Zrozumieć składniki i architekturę Confluent Kafka.
• Wdrażać i zarządzać brokerami Kafka, kwarum Zookeeper oraz kluczowymi usługami.
• Konfigurować zaawansowane funkcje, w tym bezpieczeństwo, replikację i optymalizację wydajności.
• Używać narzędzi zarządzających do monitorowania i utrzymywania klastrów Kafka.

Format kursu

• Interaktywne wykłady i dyskusje.
• Wiele ćwiczeń i praktyki.
• Ręczne wdrożenie w środowisku live-lab.

Opcje dostosowywania kursu

• Aby poprosić o dostosowane szkolenie na ten kurs, skontaktuj się z nami, aby umówić.

Greenplum jest otwartą platformą do przetwarzania danych w dużych skalach opartą na PostgreSQL, zaprojektowaną do zaawansowanej analizy i dużej skalności magazynów danych.

Ten kurs prowadzony przez instruktora (online lub na miejscu) jest skierowany do administratorów średniego poziomu, którzy chcą zainstalować, skonfigurować i zarządzać środowiskami Greenplum skutecznie, w tym zarządzać aktualizacjami systemu i bibliotekami.

Po zakończeniu tego kursu uczestnicy będą mogli:

• Zainstalować i skonfigurować gotowy do produkcji klaster Greenplum.
• Zarządzać aktualizacjami systemu i bezpiecznie stosować poprawki.
• Zarządzać bibliotekami Greenplum do analizy i rozszerzeń.
• Rozwiązywać problemy i monitorować systemy Greenplum.

Format kursu

• Interaktywna wykład i dyskusja.
• Praktyczne użycie Greenplum w kontrolowanym środowisku laboratoryjnym.
• Przewodowane ćwiczenia skupione na konfiguracji klastra, przepływach aktualizacji i rozszerzeniach systemu.

Opcje dostosowania kursu

• Aby poprosić o dostosowany kurs dla tego kursu na podstawie Twojego środowiska lub platformy danych, skontaktuj się z nami, aby to zorganizować.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla zaawansowanych specjalistów ds. danych, którzy chcą zoptymalizować przepływy pracy przetwarzania danych, zapewnić integralność danych i wdrożyć solidne rozwiązania data lakehouse, które mogą obsługiwać złożoność nowoczesnych aplikacji big data.

Pod koniec tego szkolenia uczestnicy będą mogli

• Uzyskać dogłębne zrozumienie architektury Iceberg, w tym zarządzania metadanymi i układu plików.
• Skonfigurować Iceberg dla optymalnej wydajności w różnych środowiskach i zintegrować go z wieloma silnikami przetwarzania danych.
• Zarządzać wielkoskalowymi tabelami Iceberg, wykonywać złożone zmiany schematu i obsługiwać ewolucję partycji.
• Opanowanie technik optymalizacji wydajności zapytań i wydajności skanowania danych dla dużych zbiorów danych.
• Wdrożenie mechanizmów zapewniających spójność danych, zarządzanie gwarancjami transakcyjnymi i obsługę awarii w środowiskach rozproszonych.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla początkujących specjalistów od danych, którzy chcą zdobyć wiedzę i umiejętności niezbędne do efektywnego wykorzystania Apache Iceberg do zarządzania dużymi zbiorami danych, zapewnienia integralności danych i optymalizacji przepływów pracy przetwarzania danych.

Pod koniec tego szkolenia uczestnicy będą mogli

• Dokładnie zrozumieć architekturę, funkcje i zalety Apache Iceberg.
• Dowiedzieć się o formatach tabel, partycjonowaniu, ewolucji schematów i możliwościach podróży w czasie.
• Zainstalować i skonfigurować Apache Iceberg w różnych środowiskach.
• Tworzenie, zarządzanie i manipulowanie tabelami Iceberg.
• Zrozumienie procesu migracji danych z innych formatów tabel do Iceberg.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla średniozaawansowanych specjalistów IT, którzy chcą podnieść swoje umiejętności w zakresie architektury danych, zarządzania, przetwarzania w chmurze i technologii Big Data, aby skutecznie zarządzać i analizować duże zbiory danych w celu migracji danych w swoich organizacjach.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zrozumieć podstawowe pojęcia i komponenty różnych architektur danych.
• Uzyskać kompleksowe zrozumienie zasad zarządzania danymi i ich znaczenia w środowiskach regulacyjnych.
• Wdrażać i zarządzać strukturami zarządzania danymi, takimi jak Dama i Togaf.
• Wykorzystać platformy chmurowe do wydajnego przechowywania, przetwarzania i zarządzania danymi.

This instructor-led, live training in Polsce (online or onsite) is aimed at intermediate-level data engineers who wish to learn how to use Azure Data Lake Storage Gen2 for effective data analytics solutions.

By the end of this training, participants will be able to:

• Understand the architecture and key features of Azure Data Lake Storage Gen2.
• Optimize data storage and access for cost and performance.
• Integrate Azure Data Lake Storage Gen2 with other Azure services for analytics and data processing.
• Develop solutions using the Azure Data Lake Storage Gen2 API.
• Troubleshoot common issues and optimize storage strategies.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla średniozaawansowanych specjalistów IT, którzy chcą mieć kompleksową wiedzę na temat IBM DataStage zarówno z perspektywy administracyjnej, jak i programistycznej, umożliwiając im efektywne zarządzanie i wykorzystywanie tego narzędzia w swoich miejscach pracy.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zrozumieć podstawowe koncepcje DataStage.
• Dowiedz się, jak skutecznie instalować, konfigurować i zarządzać środowiskami DataStage.
• Łączyć się z różnymi źródłami danych i skutecznie wyodrębniać dane z baz danych, plików płaskich i źródeł zewnętrznych.
• Wdrożyć skuteczne techniki ładowania danych.

To szkolenie prowadzone przez instruktora w trybie Polsce (online lub na miejscu) jest skierowane do profesjonalistów big data o poziomie średnim, którzy chcą wykorzystywać Apache Kylin do budowy magazynów danych w czasie rzeczywistym i wykonywania wielowymiarowej analizy na dużych zbiorach danych.

Po zakończeniu tego szkolenia uczestnicy będą w stanie:

• Konfigurować i uruchamiać Apache Kylin z źródłami strumieniowymi danych w czasie rzeczywistym.
• Projektować i budować sześciany OLAP dla danych zarówno paczkowych, jak i strumieniowych.
• Wykonywać złożone zapytania z opóźnieniem mniejszym niż sekundę za pomocą interfejsu SQL Kylin.
• Integrować Kylin z narzędziami BI do interaktywnej wizualizacji danych.
• Optymalizować wydajność i zarządzać zasobami w Kylin.

Uczestnicy, którzy ukończą to prowadzone przez instruktora szkolenie na żywo w Polsce zdobędą praktyczne, rzeczywiste zrozumienie Big Data i powiązanych z nim technologii, metodologii i narzędzi.

Uczestnicy będą mieli okazję wykorzystać tę wiedzę w praktyce poprzez praktyczne ćwiczenia. Interakcja w grupie i informacje zwrotne od instruktora stanowią ważny element zajęć.

Kurs rozpoczyna się od wprowadzenia do podstawowych koncepcji Big Data, a następnie przechodzi do języków programowania i metodologii wykorzystywanych do analizy danych. Na koniec omawiamy narzędzia i infrastrukturę, które umożliwiają przechowywanie Big Data, przetwarzanie rozproszone i Scalability.

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce uczestnicy dowiedzą się, jak używać Python i Spark razem do analizy dużych zbiorów danych podczas pracy nad ćwiczeniami praktycznymi.

Pod koniec tego szkolenia uczestnicy będą mogli:

• Dowiedzieć się, jak używać Sparka z Python do analizy Big Data.
• Pracować nad ćwiczeniami, które naśladują rzeczywiste przypadki.
• Używać różnych narzędzi i technik do analizy dużych zbiorów danych przy użyciu PySpark.

Ten kurs obejmuje sposób korzystania z języka Hive SQL (AKA: Hive HQL, SQL on Hive, HiveQL) dla osób, które wyodrębniają dane z Hive

To szkolenie prowadzone przez instruktora w Polsce (online lub na miejscu) jest skierowane do administratorów baz danych, developerów i analityków o średnim poziomie zaawansowania, którzy chcą opanować zaawansowane funkcje SQL do wykonywania skomplikowanych operacji na danych i zarządzania bazami danych.

Po zakończeniu tego szkolenia uczestnicy będą w stanie:

• Wykonywać zaawansowane techniki zapytania za pomocą unii, podzapytania i skomplikowanych łączeń.
• Dodawać, aktualizować i usuwać dane, tabele, widoki i indeksy z precyzją.
• Zapewniać integralność danych poprzez transakcje i manipulować strukturami bazy danych.
• Tworzyć i zarządzać bazami danych efektywnie dla niezawodnego przechowywania i pobierania danych.

Dremio to open-source'owa "samoobsługowa platforma danych", która przyspiesza wysyłanie zapytań do różnych typów źródeł danych. Dremio integruje się z relacyjnymi bazami danych, Apache Hadoop, MongoDB, Amazon S3, ElasticSearch i innymi źródłami danych. Obsługuje SQL i zapewnia interfejs użytkownika do tworzenia zapytań.

W tym prowadzonym przez instruktora szkoleniu na żywo uczestnicy dowiedzą się, jak zainstalować, skonfigurować i używać Dremio jako warstwy ujednolicającej dla narzędzi do analizy danych i bazowych repozytoriów danych.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalacja i konfiguracja Dremio
• Wykonywanie zapytań do wielu źródeł danych, niezależnie od lokalizacji, rozmiaru lub struktury
• Integracja Dremio z BI i źródłami danych, takimi jak Tableau i Elasticsearch

Uczestnicy

• Naukowcy zajmujący się danymi
• Analitycy Business
• Inżynierowie danych

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i ciężka praktyka praktyczna

Uwagi

• Aby zamówić niestandardowe szkolenie dla tego kursu, skontaktuj się z nami.

Apache Accumulo to posortowany, rozproszony magazyn kluczy/wartości, który zapewnia solidne, skalowalne przechowywanie i wyszukiwanie danych. Opiera się na projekcie Go ogle's BigTable i jest zasilany przez Apache Hadoop, Apache Zookeeper i Apache Thrift.

Ten prowadzony przez instruktora kurs na żywo obejmuje zasady działania Accumulo i prowadzi uczestników przez proces tworzenia przykładowej aplikacji na Apache Accumulo.

Format kursu

• Część wykładu, część dyskusji, praktyczny rozwój i wdrażanie, okazjonalne testy w celu oceny zrozumienia

Format kursu

• Interaktywny wykład i dyskusja.
• Wiele ćwiczeń i praktyki.
• Praktyczne wdrożenie w środowisku laboratoryjnym na żywo.

Opcje dostosowywania kursu

• Aby poprosić o spersonalizowane szkolenie dla tego kursu, skontaktuj się z nami.

Ten kurs jest skierowany do programistów i naukowców zajmujących się danymi, którzy chcą zrozumieć i wdrożyć sztuczną inteligencję w swoich aplikacjach. Szczególna uwaga poświęcona jest analizie danych, rozproszonej sztucznej inteligencji i przetwarzaniu języka naturalnego.

Amazon Redshift to oparta na chmurze usługa hurtowni danych w skali petabajtów w AWS.

W tym prowadzonym przez instruktora szkoleniu na żywo uczestnicy poznają podstawy Amazon Redshift.

Pod koniec tego szkolenia uczestnicy będą mogli

• Zainstalować i skonfigurować Amazon Redshift
• Ładować, konfigurować, wdrażać, wysyłać zapytania i wizualizować dane za pomocą Amazon Redshift.

Uczestnicy

• Programiści
• Specjaliści IT

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i ciężka praktyka praktyczna

Uwaga

• Aby poprosić o niestandardowe szkolenie dla tego kursu, skontaktuj się z nami.

Postęp technologiczny i rosnąca ilość informacji zmieniają sposób prowadzenia działalności w wielu branżach, w tym w administracji rządowej. [Generowanie danych rządowych i wskaźniki archiwizacji cyfrowej rosną ze względu na szybki rozwój urządzeń i aplikacji mobilnych, inteligentnych czujników i urządzeń, rozwiązań przetwarzania w chmurze i portali skierowanych do obywateli. W miarę jak informacje cyfrowe stają się coraz bardziej złożone, zarządzanie nimi, ich przetwarzanie, przechowywanie, zabezpieczanie i usuwanie również staje się bardziej złożone. Nowe narzędzia do przechwytywania, wyszukiwania, odkrywania i analizy pomagają organizacjom uzyskać wgląd w nieustrukturyzowane dane. Rynek rządowy znajduje się w punkcie zwrotnym, zdając sobie sprawę, że informacje są strategicznym zasobem, a rząd musi chronić, wykorzystywać i analizować zarówno ustrukturyzowane, jak i nieustrukturyzowane informacje, aby lepiej służyć i spełniać wymagania misji. W miarę jak liderzy rządowi dążą do ewolucji organizacji opartych na danych, aby skutecznie realizować misję, kładą podwaliny pod korelację zależności między zdarzeniami, ludźmi, procesami i informacjami.

Rozwiązania rządowe o wysokiej wartości będą tworzone z połączenia najbardziej przełomowych technologii:

• Urządzenia i aplikacje mobilne
• Usługi w chmurze
• Społecznościowe technologie biznesowe i sieci
• Big Data i analityka

IDC przewiduje, że do 2020 roku branża IT osiągnie wartość 5 bilionów dolarów, czyli o około 1,7 biliona dolarów więcej niż obecnie, a 80% wzrostu branży będzie napędzane przez technologie trzeciej platformy. W dłuższej perspektywie technologie te będą kluczowymi narzędziami do radzenia sobie ze złożonością coraz większej ilości informacji cyfrowych. Big Data jest jednym z inteligentnych rozwiązań branżowych i umożliwia rządowi podejmowanie lepszych decyzji poprzez podejmowanie działań w oparciu o wzorce ujawnione w wyniku analizy dużych ilości danych - powiązanych i niepowiązanych, ustrukturyzowanych i nieustrukturyzowanych.

Osiągnięcie tych celów wymaga jednak znacznie więcej niż tylko gromadzenia ogromnych ilości danych. "Nadanie sensu tym objętościom Big Data wymaga najnowocześniejszych narzędzi i technologii, które mogą analizować i wydobywać użyteczną wiedzę z ogromnych i różnorodnych strumieni informacji"” Tom Kalil i Fen Zhao z Biura Polityki Naukowej i Technologicznej Białego Domu napisali w poście na blogu OSTP.

Biały Dom zrobił krok w kierunku pomocy agencjom w znalezieniu tych technologii, ustanawiając w 2012 roku Narodową Inicjatywę Badań i Rozwoju Big Data. Inicjatywa ta obejmowała ponad 200 milionów dolarów na maksymalne wykorzystanie eksplozji Big Data i narzędzi potrzebnych do jej analizy.

Wyzwania, jakie stawia Big Data, są niemal tak zniechęcające, jak zachęcająca jest jego obietnica. Jednym z nich jest efektywne przechowywanie danych. Jak zawsze, budżety są napięte, więc agencje muszą zminimalizować cenę za megabajt pamięci masowej i przechowywać dane w łatwo dostępnym miejscu, aby użytkownicy mogli je uzyskać, kiedy chcą i jak tego potrzebują. Tworzenie kopii zapasowych ogromnych ilości danych zwiększa wyzwanie.

Skuteczna analiza danych jest kolejnym poważnym wyzwaniem. Wiele agencji korzysta z komercyjnych narzędzi, które pozwalają im przeszukiwać góry danych, dostrzegając trendy, które mogą pomóc im działać bardziej efektywnie. (Niedawne badanie przeprowadzone przez MeriTalk wykazało, że federalni dyrektorzy IT uważają, że Big Data może pomóc agencjom zaoszczędzić ponad 500 miliardów dolarów, jednocześnie spełniając cele misji).

Opracowane na zamówienie narzędzia Big Data również pozwalają agencjom zaspokoić potrzebę analizy ich danych. Na przykład Oak Ridge National Laboratory’s Computational Data Analytics Group udostępniła swój system analizy danych Piranha innym agencjom. System ten pomógł badaczom medycznym znaleźć powiązanie, które może ostrzegać lekarzy o tętniakach aorty przed ich wystąpieniem. Jest on również wykorzystywany do bardziej przyziemnych zadań, takich jak przeszukiwanie danych w celu połączenia kandydatów do pracy z menedżerami ds. rekrutacji.

Apache Beam to otwarty, zunifikowany model programowania do definiowania i wykonywania równoległych potoków przetwarzania danych. Jego moc polega na możliwości uruchamiania zarówno potoków wsadowych, jak i strumieniowych, przy czym wykonanie jest przeprowadzane przez jeden z obsługiwanych przez Beam back-endów przetwarzania rozproszonego: Apache Apex, Apache Flink, Apache Spark i Google Cloud Dataflow. Rozwiązanie Apache Beam jest przydatne w zadaniach ETL (Extract, Transform, and Load), takich jak przenoszenie danych między różnymi nośnikami pamięci i źródłami danych, przekształcanie danych w bardziej pożądany format i ładowanie danych do nowego systemu.

W tym prowadzonym przez instruktora szkoleniu na żywo (na miejscu lub zdalnie) uczestnicy dowiedzą się, jak zaimplementować Apache Beam SDK w aplikacji Java lub Python, która definiuje potok przetwarzania danych w celu dekompozycji dużego zbioru danych na mniejsze fragmenty w celu niezależnego, równoległego przetwarzania.

Pod koniec tego szkolenia uczestnicy będą mogli

• Zainstalować i skonfigurować Apache Beam.
• Używać pojedynczego modelu programowania do przeprowadzania zarówno przetwarzania wsadowego, jak i strumieniowego z poziomu aplikacji Java lub Python.
• Wykonywać potoki w wielu środowiskach.

Format kursu

• Wykład częściowy, dyskusja częściowa, ćwiczenia i ciężka praktyka praktyczna

Uwaga

• Ten kurs będzie dostępny Scala w przyszłości. Prosimy o kontakt w celu ustalenia szczegółów.

Ta sesja szkoleniowa oparta na klasie zbada Big Data. Delegaci będą mieli komputerowe przykłady i ćwiczenia studium przypadku do podjęcia z odpowiednimi narzędziami big data

Dzień 1 - zapewnia ogólny przegląd najważniejszych Big Data obszarów tematycznych. Moduł jest podzielony na szereg sekcji, z których każdej towarzyszy praktyczne ćwiczenie.

Dzień 2 - omawia szereg tematów związanych z praktykami analitycznymi i narzędziami dla środowisk Big Data. Nie wchodzi w szczegóły implementacji lub programowania, ale zamiast tego utrzymuje zasięg na poziomie koncepcyjnym, koncentrując się na tematach, które umożliwiają uczestnikom kompleksowe zrozumienie wspólnych funkcji analizy i funkcji oferowanych przez rozwiązania Big Data.

Dzień 3 - zawiera przegląd podstawowych i istotnych obszarów tematycznych związanych z architekturą platformy rozwiązań Big Data. Obejmuje mechanizmy Big Data wymagane do opracowania platformy rozwiązań Big Data i opcje architektoniczne do montażu platformy przetwarzania danych. Przedstawiono również typowe scenariusze, aby zapewnić podstawowe zrozumienie, w jaki sposób platforma rozwiązań Big Data jest ogólnie używana;

Dzień 4 - opiera się na Dniu 3, badając zaawansowane tematy związane z architekturą platformy rozwiązań Big Data. W szczególności wprowadzane i omawiane są różne warstwy architektoniczne, które składają się na platformę rozwiązań Big Data, w tym źródła danych, pozyskiwanie danych, przechowywanie danych, przetwarzanie danych i bezpieczeństwo;

Dzień 5 - obejmuje szereg ćwiczeń i problemów mających na celu sprawdzenie umiejętności delegatów w zakresie stosowania wiedzy z tematów omówionych w dniu 3 i 4;

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce uczestnicy poznają sposób myślenia, z jakim należy podejść do technologii Big Data, ocenić ich wpływ na istniejące procesy i zasady oraz wdrożyć te technologie w celu identyfikacji działalności przestępczej i zapobiegania przestępczości. Przeanalizowane zostaną studia przypadków z organizacji zajmujących się egzekwowaniem prawa na całym świecie, aby uzyskać wgląd w ich podejścia, wyzwania i wyniki.

Pod koniec tego szkolenia uczestnicy będą w stanie

• Połączyć technologię Big Data z tradycyjnymi procesami gromadzenia danych w celu złożenia historii podczas dochodzenia.
• Wdrożyć przemysłowe rozwiązania do przechowywania i przetwarzania dużych zbiorów danych do analizy danych.
• Przygotować propozycję przyjęcia najbardziej odpowiednich narzędzi i procesów w celu umożliwienia podejścia opartego na danych do dochodzenia w sprawach karnych.

Big Data to termin odnoszący się do rozwiązań przeznaczonych do przechowywania i przetwarzania dużych zbiorów danych. Opracowane początkowo przez Google rozwiązania Big Data ewoluowały i zainspirowały inne podobne projekty, z których wiele jest dostępnych jako open-source. R jest popularnym językiem programowania w branży finansowej.

Gdy tradycyjne technologie pamięci masowej nie radzą sobie z ilością danych, które trzeba przechowywać, istnieją setki alternatyw. Ten kurs stara się wskazać uczestnikom, jakie są alternatywy dla przechowywania i analizowania Big Data oraz jakie są ich zalety i wady.

Kurs ten koncentruje się głównie na dyskusji i prezentacji rozwiązań, choć na żądanie dostępne są ćwiczenia praktyczne.

Kurs jest częścią zestawu umiejętności Data Scientist (Domena: Dane i technologia).

To prowadzone przez instruktora szkolenie na żywo (w trybie online lub na miejscu) jest przeznaczone dla inżynierów, którzy chcą korzystać z Confluent (dystrybucji Kafka) do budowania i zarządzania platformą przetwarzania danych w czasie rzeczywistym dla swoich aplikacji.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalować i konfigurować platformę Confluent.
• Korzystać z narzędzi i usług zarządzania Confluent do łatwiejszego uruchamiania Kafka.
• Przechowywać i przetwarzać nadchodzące dane strumieniowe.
• Optymalizować i zarządzać klasterami Kafka.
• Zabezpieczać strumienie danych.

Format kursu

• Interaktywne wykłady i dyskusje.
• Wiele ćwiczeń i praktyki.
• Przykładowa implementacja w środowisku live-lab.

Opcje dostosowywania kursu

• Ten kurs oparty jest na wersji open source Confluent: Confluent Open Source.
• Aby poprosić o dostosowane szkolenie dla tego kursu, skontaktuj się z nami w celu umówienia.

Uczestnicy

Jeśli próbujesz nadać sens danym, do których masz dostęp lub chcesz analizować nieustrukturyzowane dane dostępne w sieci (takie jak Twitter, LinkedIn itp.), ten kurs jest dla Ciebie.

Jest on skierowany głównie do decydentów i osób, które muszą wybrać, jakie dane warto gromadzić i co warto analizować.

Nie jest on skierowany do osób konfigurujących rozwiązanie, jednak osoby te skorzystają z szerszej perspektywy.

Tryb dostawy

Podczas kursu delegaci zostaną zapoznani z działającymi przykładami głównie technologii open source.

Po krótkich wykładach odbędzie się prezentacja i proste ćwiczenia dla uczestników.

Używana zawartość i oprogramowanie

Całe używane oprogramowanie jest aktualizowane za każdym razem, gdy kurs jest uruchamiany, więc sprawdzamy najnowsze możliwe wersje.

Obejmuje proces pozyskiwania, formatowania, przetwarzania i analizowania danych, aby wyjaśnić, jak zautomatyzować proces podejmowania decyzji za pomocą uczenia maszynowego.

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce uczestnicy dowiedzą się, jak zbudować Data Vault.

Pod koniec tego szkolenia uczestnicy będą mogli:

• Zrozumieć architekturę i koncepcje projektowe stojące za Data Vault 2.0 oraz jego interakcję z Big Data, NoSQL i AI.
• Korzystać z technik przechowywania danych w celu umożliwienia audytu, śledzenia i inspekcji danych historycznych w hurtowni danych.
• Opracowanie spójnego i powtarzalnego procesu ETL (Extract, Transform, Load).
• Tworzenie i wdrażanie wysoce skalowalnych i powtarzalnych hurtowni.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla architektów, programistów i administratorów, którzy chcą korzystać z Denodo Platform w celu optymalizacji i przyspieszenia zarządzania danymi poprzez wirtualizację danych.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zainstalować i skonfigurować Denodo Platform.
• Zrozumieć funkcje i architekturę Denodo Platform.
• Zrozumieć kluczowe pojęcia, korzyści i przypadki użycia wirtualizacji danych.
• Dowiedzieć się, jak skonfigurować serwer Denodo Platform i zarządzać nim.
• Wdrożenie zabezpieczeń danych, dostępu użytkowników i uwierzytelniania usług.
• Zastosuj narzędzia i techniki monitorowania operacji i optymalizacji wydajności.

Apache Druid to open-source'owy, kolumnowy, rozproszony magazyn danych napisany w języku Java. Został zaprojektowany do szybkiego pozyskiwania ogromnych ilości danych o zdarzeniach i wykonywania zapytań OLAP o niskim opóźnieniu na tych danych. Druid jest powszechnie stosowany w aplikacjach analityki biznesowej do analizowania dużych ilości danych w czasie rzeczywistym i danych historycznych. Doskonale nadaje się również do zasilania szybkich, interaktywnych, analitycznych pulpitów nawigacyjnych dla użytkowników końcowych. Druid jest używany przez takie firmy jak Alibaba, Airbnb, Cisco, eBay, Netflix, Paypal i Yahoo.

W tym prowadzonym przez instruktora kursie na żywo badamy niektóre ograniczenia rozwiązań hurtowni danych i omawiamy, w jaki sposób Druid może uzupełniać te technologie, tworząc elastyczny i skalowalny stos analityki strumieniowej. Przechodzimy przez wiele przykładów, oferując uczestnikom możliwość wdrożenia i przetestowania rozwiązań opartych na Druidzie w środowisku laboratoryjnym.

Format kursu

• Część wykładu, część dyskusji, ciężka praktyka praktyczna, okazjonalne testy w celu oceny zrozumienia

Big data to zbiory danych, które są tak obszerne i złożone, że tradycyjne aplikacje do przetwarzania danych nie są w stanie sobie z nimi poradzić. Wyzwania związane z dużymi zbiorami danych obejmują przechwytywanie danych, przechowywanie danych, analizę danych, wyszukiwanie, udostępnianie, przesyłanie, wizualizację, zapytania, aktualizację i prywatność informacji.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) wprowadza zasady i podejścia stojące za rozproszonym przetwarzaniem danych strumieniowych i wsadowych oraz prowadzi uczestników przez proces tworzenia aplikacji do strumieniowego przesyłania danych w czasie rzeczywistym w Apache Flink.

Pod koniec tego szkolenia uczestnicy będą w stanie

• Skonfigurować środowisko do tworzenia aplikacji do analizy danych.
• Zrozumieć, jak działa biblioteka przetwarzania grafów Apache Flink (Gelly).
• Pakować, wykonywać i monitorować oparte na Flink, odporne na błędy aplikacje do strumieniowego przesyłania danych.
• Zarządzanie różnorodnymi obciążeniami.
• Wykonywanie zaawansowanych analiz.
• Konfigurowanie wielowęzłowego klastra Flink.
• Mierzyć i optymalizować wydajność.
• Integracja Flink z różnymi Big Data systemami.
• Porównywanie możliwości Flink z możliwościami innych platform przetwarzania dużych zbiorów danych.

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce uczestnicy zapoznają się z ofertą technologiczną i podejściami wdrożeniowymi do przetwarzania danych grafowych. Celem jest identyfikacja obiektów świata rzeczywistego, ich cech i relacji, a następnie modelowanie tych relacji i przetwarzanie ich jako danych przy użyciu podejścia Graph Computing (znanego również jako Graph Analytics). Zaczynamy od szerokiego przeglądu i zawężamy się do konkretnych narzędzi, przechodząc przez serię studiów przypadków, ćwiczeń praktycznych i wdrożeń na żywo.

Pod koniec tego szkolenia uczestnicy będą mogli

• Zrozumieć, w jaki sposób dane wykresu są utrwalane i przemierzane.
• Wybrać najlepszą platformę dla danego zadania (od grafowych baz danych po ramy przetwarzania wsadowego).
• Zaimplementować Hadoop, Spark, GraphX i Pregel do równoległego przetwarzania grafów na wielu maszynach.
• Postrzeganie rzeczywistych problemów związanych z dużymi zbiorami danych w kategoriach grafów, procesów i przejść.

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla administratorów, którzy chcą skonfigurować Greenplum dla rozwiązań i hurtowni danych.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zaspokajać potrzeby przetwarzania z użyciem Greenplum.
• Wykonuję operacje ETL do przetwarzania danych.
• Wykorzystują istniejące infrastruktury przetwarzania zapytań.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) wprowadza Hortonworks Data Platform (HDP) i przeprowadza uczestników przez wdrożenie rozwiązania Spark + Hadoop.

Pod koniec tego szkolenia uczestnicy będą mogli:

• Używać Hortonworks do niezawodnego uruchamiania Hadoop na dużą skalę.
• Ujednolicić możliwości Hadoop w zakresie bezpieczeństwa, zarządzania i operacji ze zwinnymi analitycznymi przepływami pracy Spark.
• Wykorzystanie Hortonworks do badania, walidacji, certyfikacji i wsparcia każdego z komponentów projektu Spark.
• Przetwarzanie różnych typów danych, w tym ustrukturyzowanych, nieustrukturyzowanych, w ruchu i w spoczynku.

Cloudera Impala to silnik zapytań typu open source do masowego przetwarzania równoległego (MPP) SQL dla klastrów Apache Hadoop.

Cloudera Impala umożliwia użytkownikom wysyłanie zapytań o niskim opóźnieniu SQL do danych przechowywanych w Hadoop Distributed File System i Apache Hbase bez konieczności przenoszenia lub przekształcania danych.

Odbiorcy

Ten kurs jest skierowany do analityków i badaczy danych przeprowadzających analizy danych przechowywanych w Hadoop za pośrednictwem narzędzi Business Intelligence lub SQL.

Po ukończeniu tego kursu uczestnicy będą w stanie

• Wyodrębniać znaczące informacje z klastrów Hadoop za pomocą Impala.
• Pisać specjalne programy ułatwiające Business Intelligence w Impala SQL dialekcie.
• Rozwiązywać problemy Impala.

W tym instruktażowym szkoleniu na żywo w Polsce (na miejscu lub zdalnie) uczestnicy dowiedzą się, jak skonfigurować i zintegrować różne Stream Processing frameworki z istniejącymi systemami przechowywania dużych zbiorów danych oraz powiązanymi aplikacjami i mikrousługami.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalowanie i konfigurowanie różnych Stream Processing frameworków, takich jak Spark Streaming i Kafka Streaming.
• Zrozumieć i wybrać najbardziej odpowiedni framework dla danego zadania.
• Przetwarzanie danych w sposób ciągły, współbieżny i rekord po rekordzie.
• Integracja Stream Processing rozwiązań z istniejącymi bazami danych, hurtowniami danych, jeziorami danych itp.
• Integracja najbardziej odpowiedniej biblioteki przetwarzania strumieniowego z aplikacjami korporacyjnymi i mikrousługami.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla inżynierów danych, naukowców zajmujących się danymi i programistów, którzy chcą korzystać z funkcji Apache Kafka w strumieniowym przesyłaniu danych z Python.

Pod koniec tego szkolenia uczestnicy będą mogli używać Apache Kafka do monitorowania i zarządzania warunkami w ciągłych strumieniach danych przy użyciu Python programowania.

W tym prowadzonym przez instruktora szkoleniu na żywo uczestnicy dowiedzą się, jak zintegrować Kafka Streams z zestawem przykładowych Java aplikacji, które przekazują dane do i z Apache Kafka w celu przetwarzania strumieniowego.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Rozumieć funkcje i zalety Kafka Streams w porównaniu z innymi ramami przetwarzania strumieniowego
• Przetwarzać dane strumieniowe bezpośrednio w ramach klastru Kafka
• Napisać aplikację lub mikrousługę Java lub Scala, która integruje się z Kafka i Kafka Streams
• Napisać zwięzły kod, który przekształca tematy wejściowe Kafka w tematy wyjściowe Kafka
• Budować, pakować i wdrażać aplikację

Uczestnicy

• Developers

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i intensywne praktyczne ćwiczenia

Uwagi

• Aby poprosić o spersonalizowane szkolenie dla tego kursu, proszę skontaktować się z nami w celu ustalenia szczegółów

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla programistów, którzy chcą wdrożyć przetwarzanie strumieniowe Apache Kafka bez pisania kodu.

Pod koniec tego szkolenia uczestnicy będą mogli

• Zainstalować i skonfigurować Confluent KSQL.
• Skonfigurować potok przetwarzania strumieniowego przy użyciu tylko SQL poleceń (bez kodowania Java lub Python).
• Przeprowadzać filtrowanie danych, transformacje, agregacje, łączenia, okienkowanie i sesjonowanie w całości w SQL.
• Projektowanie i wdrażanie interaktywnych, ciągłych zapytań dla strumieniowego ETL i analiz w czasie rzeczywistym.

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla osób technicznych, które chcą dowiedzieć się, jak wdrożyć strategię uczenia maszynowego, jednocześnie maksymalizując wykorzystanie dużych zbiorów danych.

Po zakończeniu tego szkolenia uczestnicy będą

• Zrozumienie ewolucji i trendów w uczeniu maszynowym.
• Zapoznanie się ze sposobami wykorzystania uczenia maszynowego w różnych branżach.
• Zapoznanie się z narzędziami, umiejętnościami i usługami dostępnymi w celu wdrożenia uczenia maszynowego w organizacji.
• Zrozumienie, w jaki sposób uczenie maszynowe może być wykorzystywane do ulepszania eksploracji i analizy danych.
• Dowiedz się, czym jest pośredni backend danych i jak jest on wykorzystywany przez firmy.
• Zrozumienie roli, jaką odgrywają duże zbiory danych i inteligentne aplikacje w różnych branżach.

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce (na miejscu lub zdalnie) uczestnicy dowiedzą się, jak wdrożyć i zarządzać Apache NiFi w środowisku laboratoryjnym na żywo.

Pod koniec tego szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować Apachi NiFi.
• Pozyskiwać, przekształcać i zarządzać danymi z różnych, rozproszonych źródeł danych, w tym baz danych i dużych jezior danych.
• Automatyzować przepływy danych.
• Włączać analitykę strumieniową.
• Stosowanie różnych podejść do pozyskiwania danych.
• Przekształcanie danych Big Data w informacje biznesowe.

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce uczestnicy poznają podstawy programowania opartego na przepływie, opracowując szereg rozszerzeń demonstracyjnych, komponentów i procesorów przy użyciu Apache NiFi.

Pod koniec tego szkolenia uczestnicy będą mogli:

• Zrozumieć architekturę NiFi i koncepcje przepływu danych.
• Rozwijać rozszerzenia przy użyciu NiFi i interfejsów API innych firm.
• Rozwijać własny procesor Apache Nifi.
• Pozyskiwać i przetwarzać dane w czasie rzeczywistym z różnych i nietypowych formatów plików i źródeł danych.

Snowflake to platforma przechowywania danych w chmurze, która oferuje szerokie możliwości przetwarzania i analizy dużych zbiorów danych. Jest to rozwiązanie typu Software-as-a-Service (SaaS), które łączy w sobie elastyczność i skalowalność chmury z możliwościami zaawansowanego magazynu danych. Kluczowe cechy i funkcje Snowflake obejmują:

Architektura oparta na chmurze: Snowflake jest zbudowany w chmurze i zoptymalizowany pod kątem elastyczności i wydajności, co pozwala na łatwą skalowalność zasobów do przechowywania i przetwarzania danych.

Rozdzielenie obciążenia magazynowania i przetwarzania: Unikalna architektura Snowflake rozdziela obciążenie magazynowania danych od obciążenia przetwarzania, co pozwala na niezależne skalowanie i optymalizację tych dwóch aspektów.

Wsparcie dla różnorodnych danych: Snowflake umożliwia przechowywanie i analizę różnorodnych typów danych, w tym danych strukturalnych, półstrukturalnych (np. JSON, XML) i niestrukturalnych.

Wysoka wydajność i optymalizacja zapytań: System oferuje szybkie przetwarzanie zapytań i automatyczną optymalizację, co pozwala na efektywne wykonywanie złożonych analiz na dużych zbiorach danych.

Zabezpieczenia i zarządzanie dostępem: Snowflake zapewnia zaawansowane funkcje bezpieczeństwa, w tym szyfrowanie danych, zarządzanie dostępem na poziomie ról i audytowanie.

Łatwość integracji: Platforma łatwo integruje się z popularnymi narzędziami i usługami ETL, BI oraz analizy danych, co pozwala na tworzenie kompleksowych rozwiązań analitycznych.

Elastyczność i skalowalność kosztów: Model płatności oparty na użyciu pozwala na optymalizację kosztów i płacenie tylko za faktycznie wykorzystane zasoby.

Uniwersalność zastosowań: Snowflake jest odpowiedni dla różnych przypadków użycia, od prostych analiz BI po zaawansowane przetwarzanie danych, w tym analizy big data, machine learning i inne.

Snowflake jest popularnym wyborem wśród organizacji każdej wielkości ze względu na swoją elastyczność, wydajność, łatwość obsługi i możliwość dostosowania do różnych potrzeb biznesowych i technologicznych.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla inżynierów danych, naukowców zajmujących się danymi i programistów, którzy chcą korzystać z funkcji Spark Streaming w przetwarzaniu i analizowaniu danych w czasie rzeczywistym.

Pod koniec tego szkolenia uczestnicy będą mogli używać Spark Streaming do przetwarzania strumieni danych na żywo do użytku w bazach danych, systemach plików i pulpitach nawigacyjnych na żywo.

MLlib to biblioteka Spark’s do uczenia maszynowego (ML). Jej celem jest uczynienie praktycznego uczenia maszynowego skalowalnym i łatwym. Składa się z popularnych algorytmów uczenia się i narzędzi, w tym klasyfikacji, regresji, klastrowania, filtrowania opartego na współpracy, redukcji wymiarowości, a także prymitywów optymalizacji niższego poziomu i interfejsów API potoków wyższego poziomu.

Dzieli się na dwa pakiety:

• spark.mllib zawiera oryginalny interfejs API zbudowany na bazie RDD.
• spark.ml zapewnia API wyższego poziomu zbudowane na DataFrames do konstruowania potoków ML.

Uczestnicy

Ten kurs jest skierowany do inżynierów i programistów, którzy chcą korzystać z wbudowanej biblioteki maszynowej dla Apache Spark

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla osób technicznych, które chcą wdrożyć Talend Open Studio for Big Data w celu uproszczenia procesu odczytu i analizy Big Data.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalacja i konfiguracja Talend Open Studio for Big Data.
• Połącz się z systemami Big Data, takimi jak Cloudera, HortonWorks, MapR, Amazon EMR i Apache.
• Zrozumienie i skonfigurowanie komponentów i konektorów Big Data w Open Studio.
• Konfiguracja parametrów do automatycznego generowania kodu MapReduce.
• Używanie interfejsu "przeciągnij i upuść" Open Studio do uruchamiania zadań Hadoop.
• Tworzenie prototypów potoków dużych zbiorów danych.
• Automatyzuj projekty integracji dużych zbiorów danych.

Teradata jest jednym z popularnych systemów relacyjnych Database Management. Nadaje się głównie do tworzenia aplikacji hurtowni danych na dużą skalę. Teradata osiąga to dzięki koncepcji równoległości.

Ten kurs wprowadza delegatów do Teradata.

To prowadzone przez instruktora szkolenie na żywo wprowadza koncepcje interaktywnej analizy danych i przeprowadza uczestników przez proces wdrażania i użytkowania Zeppelin w środowisku jednego lub wielu użytkowników.

Pod koniec tego szkolenia uczestnicy będą mogli

• Zainstalować i skonfigurować Zeppelin
• Rozwijać, organizować, wykonywać i udostępniać dane w interfejsie opartym na przeglądarce
• Wizualizować wyniki bez odwoływania się do wiersza poleceń lub szczegółów klastra
• Wykonywać i współpracować nad długimi przepływami pracy
• Współpracować z dowolną liczbą wtyczek do języków/backendów przetwarzania danych, takich jak Scala (z Apache Spark), Python (z Apache Spark), Spark SQL, JDBC, Markdown i Shell.
• Integracja Zeppelin z Spark, Flink i Map Reduce
• Zabezpieczanie instancji Zeppelin dla wielu użytkowników za pomocą Apache Shiro