Plan Szkolenia
Wprowadzenie
- Bazy danych i biblioteki grafowe
Zrozumienie danych graficznych
- Graf jako struktura danych
- Używanie wierzchołków (kropek) i krawędzi (linii) do modelowania rzeczywistych scenariuszy
Używanie baz danych grafowych do modelowania, przechowywania i przetwarzania danych graficznych
- Lokalne algorytmy/przeglądy grafów
- neo4j, OrientDB i Titan
Ćwiczenie: Modelowanie danych graficznych za pomocą neo4j
- Modelowanie danych na tablicy
Poza bazami danych grafowymi: Przetwarzanie grafów
- Zrozumienie grafu właściwości
- Modelowanie grafów różnych scenariuszy (graf oprogramowania, graf dyskusji, graf koncepcji)
Rozwiązywanie rzeczywistych problemów za pomocą przeglądów
- Algorytmiczne/kierowane przejście po grafie
- Określanie cyklicznych zależności
Studium przypadku: Ranking uczestników dyskusji
- Ranking według liczby i głębokości uczestnictwa w dyskusjach
- Uwaga na temat analizy sentymentu i koncepcji
Przetwarzanie grafów: Lokalne, pamięciowe narzędzia do grafów
- Analiza i wizualizacja grafów
- JUNG, NetworkX i iGraph
Ćwiczenie: Modelowanie danych graficznych za pomocą NetworkX
- Używanie NetworkX do modelowania złożonego systemu
Przetwarzanie grafów: Frameworki przetwarzania wsadowego grafów
- Wykorzystanie Hadoop do przechowywania (HDFS) i przetwarzania (MapReduce)
- Przegląd algorytmów iteracyjnych
- Hama, Giraph i GraphLab
Przetwarzanie grafów: Obliczenia równoległe na grafach
- Integracja ETL, analizy eksploracyjnej i iteracyjnych obliczeń grafowych w jednym systemie
- GraphX
Konfiguracja i instalacja
- Hadoop i Spark
Operatory GraphX
- Właściwości, strukturalne, łączenie, agregacja sąsiedztwa, buforowanie i usuwanie z bufora
Iterowanie z API Pregel
- Przekazywanie argumentów do wysyłania, odbierania i obliczania
Budowanie grafu
- Używanie wierzchołków i krawędzi w RDD lub na dysku
Projektowanie skalowalnych algorytmów
- Optymalizacja GraphX
Dostęp do dodatkowych algorytmów
- PageRank, Connected Components, Triangle Counting
Ćwiczenie: Page Rank i Top Users
- Budowanie i przetwarzanie danych graficznych przy użyciu plików tekstowych jako wejścia
Wdrażanie do produkcji
Zakończenie
Wymagania
- Znajomość programowania w języku Java i frameworków
- Ogólna znajomość Pythona jest pomocna, ale nie wymagana
- Ogólne zrozumienie koncepcji baz danych
Grupa docelowa
- Programiści
Opinie uczestników (3)
Była bardzo dobrze zaznajomiona z materiałem. Bardzo miła i angażująca. Zawsze robi przerwy, aby spytać, czy są jakieś pytania lub wyjaśnienia.
Jones Manlapaz - Nordstern Group
Szkolenie - Introduction to Semantic MediaWiki
Przetłumaczone przez sztuczną inteligencję
Szeroki zakres i głęboka wiedza o Sieci Semantycznej
XINJIAN GUO - Yale University
Szkolenie - Semantic Web Overview
Przetłumaczone przez sztuczną inteligencję
Bardzo miłe szkolenie
Maira Frisch - Novartis Pharma AG
Szkolenie - SPARQL
Przetłumaczone przez sztuczną inteligencję
