Szkolenia Big Data

Postępy technologiczne i rosnąca ilość informacji zmieniają sposób prowadzenia biznesu w wielu branżach, w tym w sektorze rządowym. Go vernment generowanie danych i archiwizacji cyfrowych stopy rosną w związku z dynamicznym rozwojem urządzeń i aplikacji mobilnych, inteligentnych czujników i urządzeń, rozwiązań cloud computing i portali obywatelskich-zachodu. Wraz z rozszerzaniem się i coraz bardziej złożonymi informacjami cyfrowymi zarządzanie informacjami, przetwarzanie, przechowywanie, bezpieczeństwo i dyspozycja stają się również bardziej złożone. Nowe narzędzia do przechwytywania, wyszukiwania, wykrywania i analizy pomagają organizacjom uzyskać wgląd w dane nieustrukturyzowane. Rynek rządowy znajduje się w punkcie zwrotnym, zdając sobie sprawę, że informacje są strategicznym atutem, a rząd musi chronić, wykorzystywać i analizować zarówno informacje strukturalne, jak i niestrukturalne, aby lepiej służyć i spełniać wymagania misji. W miarę jak przywódcy rządowi dążą do ewolucji organizacji opartych na danych, aby skutecznie realizować misję, kładą podwaliny pod korelację zależności między zdarzeniami, ludźmi, procesami i informacjami.

Rozwiązania rządowe o wysokiej wartości zostaną stworzone z połączenia najbardziej przełomowych technologii:

- Urządzenia mobilne i aplikacje
- Usługi w chmurze
- Technologie biznesu społecznego i sieci
- Big Data i analityka

IDC przewiduje, że do 2020 r. Branża IT osiągnie 5 bilionów dolarów, czyli o 1,7 biliona dolarów więcej niż obecnie, a 80% wzrostu branży będzie napędzane przez te technologie trzeciej platformy. W dłuższej perspektywie technologie te będą kluczowymi narzędziami do radzenia sobie ze złożonością zwiększonych informacji cyfrowych. Big Data jest jednym z inteligentnych rozwiązań branżowych i umożliwia rządowi podejmowanie lepszych decyzji poprzez podejmowanie działań opartych na wzorcach ujawnionych przez analizę dużych ilości danych - powiązanych i niepowiązanych, uporządkowanych i nieustrukturyzowanych.

Jednak osiągnięcie tych wyczynów wymaga znacznie więcej niż zwykłego gromadzenia ogromnych ilości danych. „Sens tych Big Data wymaga najnowszych narzędzi i technologii, które mogą analizować i wyodrębniać użyteczną wiedzę z ogromnych i różnorodnych strumieni informacji”, Tom Kalil i Fen Zhao z Biura Białego Domu Nauki i Technologii napisał w poście na blogu OSTP.

Biały Dom zrobił krok w kierunku pomocy agencjom w znalezieniu tych technologii, gdy w 2012 r. Ustanowił Krajową Inicjatywę Badań i Rozwoju Big Data . Inicjatywa obejmowała ponad 200 mln USD, aby jak najlepiej wykorzystać eksplozję Big Data i narzędzia potrzebne do jej analizy .

Wyzwania, które stawiają Big Data są tak samo zniechęcające, jak obiecująca jest ich obietnica. Skuteczne przechowywanie danych jest jednym z tych wyzwań. Jak zwykle budżety są napięte, więc agencje muszą zminimalizować cenę pamięci masowej na megabajt i zachować łatwy dostęp do danych, aby użytkownicy mogli je uzyskać, kiedy tego chcą i jak tego potrzebują. Tworzenie kopii zapasowych ogromnych ilości danych zwiększa wyzwanie.

Skuteczna analiza danych to kolejne duże wyzwanie. Wiele agencji stosuje narzędzia komercyjne, które umożliwiają im przesiewanie danych, dostrzegając trendy, które mogą pomóc im działać bardziej efektywnie. (Niedawne badanie przeprowadzone przez MeriTalk wykazało, że federalni dyrektorzy IT uważają, że Big Data może pomóc agencjom zaoszczędzić ponad 500 miliardów dolarów, a jednocześnie zrealizować cele misji).

Opracowane na zamówienie narzędzia Big Data pozwalają również agencjom zająć się analizą danych. Na przykład grupa Computational Data Analytics z National Laboratory w Oak Ridge udostępniła system analizy danych Piranha innym agencjom. System pomógł badaczom medycznym znaleźć link, który może ostrzec lekarzy o tętniakach aorty przed uderzeniem. Jest również używany do bardziej przyziemnych zadań, takich jak przeglądanie CV w celu połączenia kandydatów do pracy z menedżerami ds. Zatrudnienia.

Przegląd

Dostawcy usług Communication (CSP) stoją pod presją ograniczenia kosztów i maksymalizacji średniego przychodu na użytkownika (ARPU), zapewniając jednocześnie doskonałą obsługę klienta, ale ilość danych stale rośnie. Globalny ruch danych mobilnych wzrośnie ze złożoną roczną stopą wzrostu (CAGR) wynoszącą 78 procent do 2016 r., Osiągając 10,8 eksabajtów miesięcznie.

Tymczasem CSP generują duże ilości danych, w tym zapisy szczegółów połączeń (CDR), dane sieciowe i dane klientów. Firmy, które w pełni wykorzystują te dane, zyskują przewagę konkurencyjną. Według niedawnej ankiety przeprowadzonej przez The Economist Intelligence Unit firmy, które wykorzystują podejmowanie decyzji w oparciu o dane, cieszą się wzrostem wydajności o 5-6%. Jednak 53% firm wykorzystuje tylko połowę swoich cennych danych, a jedna czwarta respondentów zauważyła, że ogromna ilość przydatnych danych pozostaje niewykorzystana. Objętość danych jest tak duża, że ręczna analiza jest niemożliwa, a większość starszych systemów oprogramowania nie może nadążyć, co powoduje odrzucenie lub zignorowanie cennych danych.

Dzięki szybkiemu, skalowalnemu oprogramowaniu do dużych zbiorów danych Big Data & Analytics dostawcy CSP mogą wydobywać wszystkie swoje dane w celu szybszego podejmowania decyzji w krótszym czasie. Różne produkty i techniki Big Data stanowią kompleksową platformę oprogramowania do gromadzenia, przygotowywania, analizowania i prezentowania spostrzeżeń z dużych zbiorów danych. Obszary zastosowań obejmują monitorowanie wydajności sieci, wykrywanie oszustw, wykrywanie odejść klientów i analizę ryzyka kredytowego. Produkty Big Data i Analytics skalują się, aby obsłużyć terabajty danych, ale wdrożenie takich narzędzi wymaga nowego rodzaju systemu baz danych w chmurze, takiego jak Hadoop lub procesor obliczeń równoległych na dużą skalę (KPU itp.)

Ten kurs pracy nad Big Data BI dla Telco obejmuje wszystkie nowe nowe obszary, w których CSP inwestują w celu zwiększenia wydajności i otwarcia nowego strumienia przychodów biznesowych. Kurs zapewni pełny widok 360 stopni w stosunku do Big Data BI w Telco, dzięki czemu decydenci i menedżerowie mogą mieć bardzo szeroki i wszechstronny przegląd możliwości Big Data BI w Telco w zakresie wydajności i zysków.

Cele kursu

Głównym celem kursu jest wprowadzenie nowych Big Data technik analizy biznesowej w 4 sektorach Telecom Business ( Marketing / Sprzedaż, obsługa sieci, operacja finansowa i relacjami z klientami Management ). Studenci zostaną zapoznani z następującymi zagadnieniami:

- Wprowadzenie do Big Data - czym są 4 V (objętość, prędkość, różnorodność i prawdziwość) w Big Data - Generowanie, ekstrakcja i zarządzanie z perspektywy Telco
- Czym analityczny Big Data różni się od starszego typu analitycznego
- Wewnętrzne uzasadnienie perspektywy Big Data Telco
- Wprowadzenie do ekosystemu Hadoop znajomość wszystkich narzędzi Hadoop , takich jak Hive , Pig, SPARC - kiedy i jak są one wykorzystywane do rozwiązania problemu Big Data
- W jaki sposób wyodrębnia się Big Data celu analizy w celu użycia narzędzia analitycznego - w jaki sposób Business Analysis mogą zredukować trudności związane z gromadzeniem i analizą danych dzięki zintegrowanemu podejściu do pulpitu nawigacyjnego Hadoop
- Podstawowe wprowadzenie analiz Insight, wizualizacji i prognozowania dla Telco
- Churn klienta analityczna i Big Data -Jak Big Data analityczna może zmniejszyć rotacji klientów i niezadowolenie klienta w badaniach Telco-case
- Analiza awarii sieci i awarii usługi z metadanych sieciowych i IPDR
- Analiza finansowa - oszustwo, marnotrawstwo i oszacowanie ROI na podstawie danych sprzedażowych i operacyjnych
- Problem pozyskiwania klientów - marketing docelowy, segmentacja klientów i sprzedaż krzyżowa na podstawie danych sprzedaży
- Wprowadzenie i podsumowanie wszystkich produktów analitycznych Big Data oraz ich miejsca w przestrzeni analitycznej Telco
- Wniosek - jak zastosować podejście krok po kroku do wprowadzenia Big Data Business Intelligence w swojej organizacji

Grupa docelowa

- Obsługa sieci, menedżerowie finansowi, menedżerowie CRM i najlepsi menedżerowie IT w biurze Telco CIO.
- Analitycy Business w Telco
- Kierownicy / analitycy biur CFO
- Kierownicy operacyjni
- Kierownicy ds. Kontroli jakości

Audience

If you try to make sense out of the data you have access to or want to analyse unstructured data available on the net (like Twitter, Linked in, etc...) this course is for you.

It is mostly aimed at decision makers and people who need to choose what data is worth collecting and what is worth analyzing.

It is not aimed at people configuring the solution, those people will benefit from the big picture though.

Delivery Mode

During the course delegates will be presented with working examples of mostly open source technologies.

Short lectures will be followed by presentation and simple exercises by the participants

Content and Software used

All software used is updated each time the course is run, so we check the newest versions possible.

It covers the process from obtaining, formatting, processing and analysing the data, to explain how to automate decision making process with machine learning.

Day 1 - provides a high-level overview of essential Big Data topic areas. The module is divided into a series of sections, each of which is accompanied by a hands-on exercise.

Day 2 - explores a range of topics that relate analysis practices and tools for Big Data environments. It does not get into implementation or programming details, but instead keeps coverage at a conceptual level, focusing on topics that enable participants to develop a comprehensive understanding of the common analysis functions and features offered by Big Data solutions.

Day 3 - provides an overview of the fundamental and essential topic areas relating to Big Data solution platform architecture. It covers Big Data mechanisms required for the development of a Big Data solution platform and architectural options for assembling a data processing platform. Common scenarios are also presented to provide a basic understanding of how a Big Data solution platform is generally used.

Day 4 - builds upon Day 3 by exploring advanced topics relatng to Big Data solution platform architecture. In particular, different architectural layers that make up the Big Data solution platform are introduced and discussed, including data sources, data ingress, data storage, data processing and security.

Day 5 - covers a number of exercises and problems designed to test the delegates ability to apply knowledge of topics covered Day 3 and 4.

Big Data is a term that refers to solutions destined for storing and processing large data sets. Developed by Google initially, these Big Data solutions have evolved and inspired other similar projects, many of which are available as open-source. R is a popular programming language in the financial industry.

When traditional storage technologies don't handle the amount of data you need to store there are hundereds of alternatives. This course try to guide the participants what are alternatives for storing and analyzing Big Data and what are theirs pros and cons.

This course is mostly focused on discussion and presentation of solutions, though hands-on exercises are available on demand.

The course is part of the Data Scientist skill set (Domain: Data and Technology).

Big data is data sets that are so voluminous and complex that traditional data processing application software are inadequate to deal with them. Big data challenges include capturing data, data storage, data analysis, search, sharing, transfer, visualization, querying, updating and information privacy.

Participants who complete this instructor-led, live training in w Polsce will gain a practical, real-world understanding of Big Data and its related technologies, methodologies and tools.

Participants will have the opportunity to put this knowledge into practice through hands-on exercises. Group interaction and instructor feedback make up an important component of the class.

The course starts with an introduction to elemental concepts of Big Data, then progresses into the programming languages and methodologies used to perform Data Analysis. Finally, we discuss the tools and infrastructure that enable Big Data storage, Distributed Processing, and Scalability.

Vespa is an open-source big data processing and serving engine created by Yahoo. It is used to respond to user queries, make recommendations, and provide personalized content and advertisements in real-time.

This instructor-led, live training introduces the challenges of serving large-scale data and walks participants through the creation of an application that can compute responses to user requests, over large datasets in real-time.

By the end of this training, participants will be able to:

- Use Vespa to quickly compute data (store, search, rank, organize) at serving time while a user waits
- Implement Vespa into existing applications involving feature search, recommendations, and personalization
- Integrate and deploy Vespa with existing big data systems such as Hadoop and Storm.

Audience

- Developers

Format of the course

- Part lecture, part discussion, exercises and heavy hands-on practice

To meet compliance of the regulators, CSPs (Communication service providers) can tap into Big Data Analytics which not only help them to meet compliance but within the scope of same project they can increase customer satisfaction and thus reduce the churn. In fact since compliance is related to Quality of service tied to a contract, any initiative towards meeting the compliance, will improve the “competitive edge” of the CSPs. Therefore, it is important that Regulators should be able to advise/guide a set of Big Data analytic practice for CSPs that will be of mutual benefit between the regulators and CSPs.

The course consists of 8 modules (4 on day 1, and 4 on day 2)

Advances in technologies and the increasing amount of information are transforming how law enforcement is conducted. The challenges that Big Data pose are nearly as daunting as Big Data's promise. Storing data efficiently is one of these challenges; effectively analyzing it is another.

In this instructor-led, live training, participants will learn the mindset with which to approach Big Data technologies, assess their impact on existing processes and policies, and implement these technologies for the purpose of identifying criminal activity and preventing crime. Case studies from law enforcement organizations around the world will be examined to gain insights on their adoption approaches, challenges and results.

By the end of this training, participants will be able to:

- Combine Big Data technology with traditional data gathering processes to piece together a story during an investigation
- Implement industrial big data storage and processing solutions for data analysis
- Prepare a proposal for the adoption of the most adequate tools and processes for enabling a data-driven approach to criminal investigation

Audience

- Law Enforcement specialists with a technical background

Format of the course

- Part lecture, part discussion, exercises and heavy hands-on practice

This classroom based training session will explore Big Data. Delegates will have computer based examples and case study exercises to undertake with relevant big data tools

Objective : This training course aims at helping attendees understand why Big Data is changing our lives and how it is altering the way businesses see us as consumers. Indeed, users of big data in businesses find that big data unleashes a wealth of information and insights which translate to higher profits, reduced costs, and less risk. However, the downside was frustration sometimes when putting too much emphasis on individual technologies and not enough focus on the pillars of big data management.

Attendees will learn during this course how to manage the big data using its three pillars of data integration, data governance and data security in order to turn big data into real business value. Different exercices conducted on a case study of customer management will help attendees to better understand the underlying processes.

This instructor-led, live training in w Polsce (online or onsite) is aimed at technical persons who wish to learn how to implement a machine learning strategy while maximizing the use of big data.

By the end of this training, participants will:

- Understand the evolution and trends for machine learning.
- Know how machine learning is being used across different industries.
- Become familiar with the tools, skills and services available to implement machine learning within an organization.
- Understand how machine learning can be used to enhance data mining and analysis.
- Learn what a data middle backend is, and how it is being used by businesses.
- Understand the role that big data and intelligent applications are playing across industries.

This instructor-led, live training in w Polsce (online or onsite) is aimed at software engineers who wish to use Sqoop and Flume for big data.

By the end of this training, participants will be able to:

- Ingest big data with Sqoop and Flume.
- Ingest data from multiple data sources.
- Move data from relational databases to HDFS and Hive.
- Export data from HDFS to a relational database.

This instructor-led, live training in w Polsce (online or onsite) is aimed at technical persons who wish to deploy Talend Open Studio for Big Data to simplifying the process of reading and crunching through Big Data.

By the end of this training, participants will be able to:

- Install and configure Talend Open Studio for Big Data.
- Connect with Big Data systems such as Cloudera, HortonWorks, MapR, Amazon EMR and Apache.
- Understand and set up Open Studio's big data components and connectors.
- Configure parameters to automatically generate MapReduce code.
- Use Open Studio's drag-and-drop interface to run Hadoop jobs.
- Prototype big data pipelines.
- Automate big data integration projects.

Szkolenie pozwoli w pełni zapoznać się i zrozumieć wszystkie niezbędne kroki do obsługi i utrzymywania klastra Hadoop. Dostarcza wiedzę począwszy od zagadnień związanych ze specyfikacją sprzętu, instalacją i konfiguracją systemu, aż do zagadnien związanych z równoważeniem obciążenia, strojeniem, diagnozowaniem i rozwiązywaniu problemów przy wdrożeniu.

Kurs dedykowany administratorom, którzy będą tworzyć lub/i utrzymywać klaster Hadoop.

Materiały szkoleniowe

- Materiały szkoleniowe Student Guide
- Materiały szkoleniowe Lab Guide

Głównym celem szkolenia jest zdobycie wiedzy z administracji systemem Apache Hadoop w środowiskach MapReduce oraz YARN na poziomie zaawansowanym. Tematyka szkolenia dotyczy w głównej mierze architektury systemu Hadoop, a w szczególności systemu plików HDFS oraz modeli programistycznych MapReduce i YARN oraz zagadnień związanych z planowaniem, instalacją, konfiguracją, administracją, zarządzaniem i monitorowaniem klastra systemu Hadoop. Pozostałe zagadnienia związane z tematyką BigData takie jak HBase, Cassandra, Impala, Pig, Hiver oraz Sqoop są również omówione, choć pobieżnie. Kurs przeznaczony jest w głównej mierze do specjalistów z branży IT, którzy chcą przygotować się i zdać egzamin CCAH (Cloudera Certified administrator for Apache Hadoop).

Audience:

This course is intended to demystify big data/hadoop technology and to show it is not difficult to understand.

Apache Hadoop is the most popular framework for processing Big Data on clusters of servers. This course will introduce a developer to various components (HDFS, MapReduce, Pig, Hive and HBase) Hadoop ecosystem.

Apache Hadoop is one of the most popular frameworks for processing Big Data on clusters of servers. This course delves into data management in HDFS, advanced Pig, Hive, and HBase. These advanced programming techniques will be beneficial to experienced Hadoop developers.

Audience: developers

Duration: three days

Format: lectures (50%) and hands-on labs (50%).

This course introduces HBase – a NoSQL store on top of Hadoop. The course is intended for developers who will be using HBase to develop applications, and administrators who will manage HBase clusters.

We will walk a developer through HBase architecture and data modelling and application development on HBase. It will also discuss using MapReduce with HBase, and some administration topics, related to performance optimization. The course is very hands-on with lots of lab exercises.

Duration : 3 days

Audience : Developers & Administrators

Apache Hadoop is the most popular framework for processing Big Data on clusters of servers. In this three (optionally, four) days course, attendees will learn about the business benefits and use cases for Hadoop and its ecosystem, how to plan cluster deployment and growth, how to install, maintain, monitor, troubleshoot and optimize Hadoop. They will also practice cluster bulk data load, get familiar with various Hadoop distributions, and practice installing and managing Hadoop ecosystem tools. The course finishes off with discussion of securing cluster with Kerberos.

“…The materials were very well prepared and covered thoroughly. The Lab was very helpful and well organized”
— Andrew Nguyen, Principal Integration DW Engineer, Microsoft Online Advertising

Audience

Hadoop administrators

Format

Lectures and hands-on labs, approximate balance 60% lectures, 40% labs.

Apache Hadoop is the most popular framework for processing Big Data. Hadoop provides rich and deep analytics capability, and it is making in-roads in to tradional BI analytics world. This course will introduce an analyst to the core components of Hadoop eco system and its analytics

Audience

Business Analysts

Duration

three days

Format

Lectures and hands on labs.

Big Data Analyst Training to praktyczny kurs, który polecany jest każdemu, kto chce w przyszłości zostać ekspertem Data Scientist. Kurs skupia sie na aspektach potrzebnych do pracy nowoczesnego analityka w technologii Big Data. W trakcie kursu prezentowane są narzędzia pozwalające na uzyskanie dostępu, zmianę, transformację i analizę skomplikowanych struktur danych umieszczonych w klastrze Hadoop. W trakcie kursu będą poruszane tematy w ramach technologii Hadoop Ecosystem (Pig, Hive, Impala, ELK i inne).

- Funkcjonaloność narzędzi Pig, Hive, Impala, ELK, pozwalające na zbieranie danych, zapisywanie wyników i analitykę.
- Jak Pig, Hive i Impala mogą podnieść wydajność typowych i codziennych zadań analitycznych.
- Wykonywanie w czasie rzeczywistym interaktywnych analiz ogromnych zbiorów danych aby uzyskać cenne i wartościowe elementy dla biznesu oraz jak interpretować wnioski.
- Wykonywanie złożonych zapytań na bardzo dużych wolumenach danych.

Hadoop is the most popular Big Data processing framework.

Audience

- Developers

Format of the Course

- Lectures, hands-on practice, small tests along the way to gauge understanding

This course is intended for developers, architects, data scientists or any profile that requires access to data either intensively or on a regular basis.

The major focus of the course is data manipulation and transformation.

Among the tools in the Hadoop ecosystem this course includes the use of Pig and Hive both of which are heavily used for data transformation and manipulation.

This training also addresses performance metrics and performance optimisation.

The course is entirely hands on and is punctuated by presentations of the theoretical aspects.

As more and more software and IT projects migrate from local processing and data management to distributed processing and big data storage, Project Managers are finding the need to upgrade their knowledge and skills to grasp the concepts and practices relevant to Big Data projects and opportunities.

This course introduces Project Managers to the most popular Big Data processing framework: Hadoop.

In this instructor-led training, participants will learn the core components of the Hadoop ecosystem and how these technologies can be used to solve large-scale problems. In learning these foundations, participants will also improve their ability to communicate with the developers and implementers of these systems as well as the data scientists and analysts that many IT projects involve.

Audience

- Project Managers wishing to implement Hadoop into their existing development or IT infrastructure
- Project Managers needing to communicate with cross-functional teams that include big data engineers, data scientists and business analysts

Format of the course

- Part lecture, part discussion, exercises and heavy hands-on practice