Plan Szkolenia
Podstawy NiFi i przepływów danych
- Dane w ruchu a dane w spoczynku: koncepcje i wyzwania
- Architektura NiFi: rdzenie, kontroler przepływu, pochodzenie danych i biuletyn
- Kluczowe komponenty: procesory, połączenia, kontrolery i pochodzenie danych
Kontekst Big Data i integracja
- Rola NiFi w ekosystemach Big Data (Hadoop, Kafka, magazyny w chmurze)
- Omówienie HDFS, MapReduce i nowoczesnych alternatyw
- Przypadki użycia: pozyskiwanie strumieniowe, przesyłanie logów, potoki zdarzeń
Instalacja, konfiguracja i konfiguracja klastra
- Instalacja NiFi w trybie pojedynczego węzła i klastra
- Konfiguracja klastra: role węzłów, Zookeeper i równoważenie obciążenia
- Orkiestracja wdrożeń NiFi: użycie Ansible, Dockera lub Helma
Projektowanie przepływów danych i zarządzanie nimi
- Trasowanie, filtrowanie, dzielenie i scalanie przepływów
- Konfiguracja procesorów (InvokeHTTP, QueryRecord, PutDatabaseRecord itp.)
- Obsługa operacji schematu, wzbogacania i transformacji
- Obsługa błędów, relacje ponawiania i przeciwdziałanie przeciążeniom
Scenariusze integracji
- Łączenie z bazami danych, systemami komunikacyjnymi i interfejsami API REST
- Przesyłanie strumieniowe do systemów analitycznych: Kafka, Elasticsearch lub magazyny w chmurze
- Integracja ze Splunkiem, Prometheusem lub potokami logowania
Monitorowanie, odzyskiwanie i pochodzenie danych
- Korzystanie z interfejsu NiFi, metryk i wizualizatora pochodzenia danych
- Projektowanie autonomicznego odzyskiwania i eleganckiej obsługi awarii
- Kopie zapasowe, wersjonowanie przepływów i zarządzanie zmianami
Dostrajanie wydajności i optymalizacja
- Dostrajanie JVM, sterty, pul wątków i parametrów klastrowania
- Optymalizacja projektu przepływów w celu redukcji wąskich gardeł
- Izolacja zasobów, priorytetyzacja przepływów i kontrola przepustowości
Najlepsze praktyki i zarządzanie
- Dokumentacja przepływów, standardy nazewnictwa, projektowanie modułowe
- Bezpieczeństwo: TLS, uwierzytelnianie, kontrola dostępu, szyfrowanie danych
- Kontrola zmian, wersjonowanie, dostęp oparty na rolach, ścieżki audytu
Rozwiązywanie problemów i reagowanie na incydenty
- Typowe problemy: zakleszczenia, wycieki pamięci, błędy procesorów
- Analiza logów, diagnostyka błędów i badanie przyczyn źródłowych
- Strategie odzyskiwania i wycofywanie przepływów
Laboratorium praktyczne: implementacja realistycznego potoku danych
- Budowanie kompleksowego przepływu: pozyskiwanie, transformacja, dostarczanie
- Wdrażanie obsługi błędów, przeciwdziałania przeciążeniom i skalowania
- Testowanie wydajności i dostrajanie potoku
Podsumowanie i dalsze kroki
Wymagania
- Doświadczenie w pracy z wierszem poleceń systemu Linux
- Podstawowa znajomość sieci i systemów danych
- Styczność z koncepcjami przesyłania strumieniowego danych lub ETL
Grupa docelowa
- Administratorzy systemów
- Inżynierowie danych
- Programiści
- Specjaliści DevOps
Opinie uczestników (7)
Ćwiczenia praktyczne. Kurs powinien trwać 5 dni, ale 3 dni pomogły rozstrzygnąć wiele pytań, które miałem związanymi z pracą w NiFi.
James - BHG Financial
Szkolenie - Apache NiFi for Administrators
Przetłumaczone przez sztuczną inteligencję
Uznawałem, że tempo prowadzone przez trenera było odpowiednie. Nie zostawił żadnego uczestnika za sobą dzięki swojemu podejściu. Był bardzo wsparciem dla nas, NOWICJKÓW, którzy mogą nie mieć doświadczenia z rolą Administratora Systemów lub Infrastruktury w trakcie kariery lub którzy odświeżali te umiejętności po dłuższej przerwie.
Pamdrea Ivory - BHG Financial
Szkolenie - Apache NiFi for Administrators
Przetłumaczone przez sztuczną inteligencję
Podoba mi się praktyczna część. Ułatwiła mi lepsze zapamiętanie informacji poprzez wykonywanie podanych ćwiczeń. Ponadto, umiejętność trenera angażowania całej klasy sprawiła, że czułem się komfortowo pytając o rzeczy, których nie byłem pewien.
Leila - BHG Financial
Szkolenie - Apache NiFi for Administrators
Przetłumaczone przez sztuczną inteligencję
Przypadki zastosowania i przykłady tworzenia przepłyów danych w NiFi. Rozwiązujemy typowe problemy i pułapki.
Nelson - BHG Financial
Szkolenie - Apache NiFi for Administrators
Przetłumaczone przez sztuczną inteligencję
Lubiłem strukturę. W pierwszym dniu zanurzyliśmy się w podstawach Nifi, pojęciach, zastosowaniach itp. Na drugi dzień praktycznie wykorzystaliśmy zdobyte wiedze, tworząc przepływy spełniające wymagania scenariuszy. W trzecim dniu zapoznaliśmy się z Nifi Registry, kontrolą wersji, wieloużytkownictwem oraz odbyła się sesja Q&A.
Adam - BHG Financial
Szkolenie - Apache NiFi for Administrators
Przetłumaczone przez sztuczną inteligencję
Podoba mi się, jak udało mu się omówić Nifi oraz jego potęgę. Możesz go zasadniczo wykorzystać w dowolnej infrastrukturze i korzystać z wielu różnych języków komputerowych. Równie miło było, że udało nam się rozwiązać problem odnowy certyfikatu Nifi, którym mieliśmy trudności z Truststore.
Joachim Martin - BHG Financial
Szkolenie - Apache NiFi for Administrators
Przetłumaczone przez sztuczną inteligencję
ogólne wiedza i możliwości, jakie szkolenie oferuje pod względem narzędzia.
Nalfis Tobar - BHG Financial
Szkolenie - Apache NiFi for Administrators
Przetłumaczone przez sztuczną inteligencję
