Plan Szkolenia
Podstawy NiFi i przepływu danych
- Dane w ruchu vs dane w spoczynku: koncepcje i wyzwania
- Architektura NiFi: rdzenie, kontroler przepływu, pochodzenie i biuletyn
- Kluczowe komponenty: procesory, połączenia, kontrolery i pochodzenie
Kontekst Big Data i integracja
- Rola NiFi w ekosystemach Big Data (Hadoop, Kafka, chmura)
- Przegląd HDFS, MapReduce i nowoczesnych alternatyw
- Przykłady zastosowań: pozyskiwanie strumieni, przesyłanie logów, potoki zdarzeń
Instalacja, konfiguracja i konfiguracja klastra
- Instalacja NiFi w trybie pojedynczego węzła i klastra
- Konfiguracja klastra: role węzłów, Zookeeper i równoważenie obciążenia
- Orchestracja wdrożeń NiFi: używanie Ansible, Docker lub Helm
Projektowanie i zarządzanie przepływami danych
- Routowanie, filtrowanie, dzielenie i łączenie przepływów
- Konfiguracja procesorów (InvokeHTTP, QueryRecord, PutDatabaseRecord itp.)
- Obsługa schematów, wzbogacanie i operacje transformacji
- Obsługa błędów, relacje ponawiania i przeciążenie
Scenariusze integracji
- Łączenie z bazami danych, systemami przesyłania wiadomości, REST API
- Przesyłanie strumieniowe do systemów analitycznych: Kafka, Elasticsearch lub chmura
- Integracja z Splunk, Prometheus lub potokami logowania
Monitorowanie, odzyskiwanie i pochodzenie
- Korzystanie z interfejsu NiFi, metryk i wizualizatora pochodzenia
- Projektowanie autonomicznego odzyskiwania i eleganckiej obsługi błędów
- Backup, wersjonowanie przepływów i zarządzanie zmianami
Optymalizacja wydajności
- Dostrajanie JVM, pamięci, pul wątków i parametrów klastra
- Optymalizacja projektu przepływów w celu redukcji wąskich gardeł
- Izolacja zasobów, priorytetyzacja przepływów i kontrola przepustowości
Najlepsze praktyki i zarządzanie
- Dokumentacja przepływów, standardy nazewnictwa, modułowy projekt
- Bezpieczeństwo: TLS, uwierzytelnianie, kontrola dostępu, szyfrowanie danych
- Kontrola zmian, wersjonowanie, kontrola dostępu oparta na rolach, ślady audytu
Rozwiązywanie problemów i reakcja na incydenty
- Typowe problemy: zakleszczenia, wycieki pamięci, błędy procesorów
- Analiza logów, diagnostyka błędów i badanie przyczyn źródłowych
- Strategie odzyskiwania i wycofywania przepływów
Praktyczne laboratorium: Implementacja realistycznego potoku danych
- Budowanie kompleksowego przepływu: pozyskiwanie, transformacja, dostarczanie
- Implementacja obsługi błędów, przeciążenia i skalowania
- Testowanie wydajności i dostrajanie potoku
Podsumowanie i kolejne kroki
Wymagania
- Doświadczenie w pracy z linią poleceń Linux
- Podstawowa znajomość sieci i systemów danych
- Znajomość koncepcji przesyłania strumieniowego danych lub ETL
Grupa docelowa
- Administratorzy systemów
- Inżynierowie danych
- Programiści
- Specjaliści DevOps
Opinie uczestników (7)
Ćwiczenia praktyczne. Kurs powinien trwać 5 dni, ale 3 dni pomogły rozstrzygnąć wiele pytań, które miałem związanymi z pracą w NiFi.
James - BHG Financial
Szkolenie - Apache NiFi for Administrators
Przetłumaczone przez sztuczną inteligencję
Uznawałem, że tempo prowadzone przez trenera było odpowiednie. Nie zostawił żadnego uczestnika za sobą dzięki swojemu podejściu. Był bardzo wsparciem dla nas, NOWICJKÓW, którzy mogą nie mieć doświadczenia z rolą Administratora Systemów lub Infrastruktury w trakcie kariery lub którzy odświeżali te umiejętności po dłuższej przerwie.
Pamdrea Ivory - BHG Financial
Szkolenie - Apache NiFi for Administrators
Przetłumaczone przez sztuczną inteligencję
Podoba mi się praktyczna część. Ułatwiła mi lepsze zapamiętanie informacji poprzez wykonywanie podanych ćwiczeń. Ponadto, umiejętność trenera angażowania całej klasy sprawiła, że czułem się komfortowo pytając o rzeczy, których nie byłem pewien.
Leila - BHG Financial
Szkolenie - Apache NiFi for Administrators
Przetłumaczone przez sztuczną inteligencję
Przypadki zastosowania i przykłady tworzenia przepłyów danych w NiFi. Rozwiązujemy typowe problemy i pułapki.
Nelson - BHG Financial
Szkolenie - Apache NiFi for Administrators
Przetłumaczone przez sztuczną inteligencję
Lubiłem strukturę. W pierwszym dniu zanurzyliśmy się w podstawach Nifi, pojęciach, zastosowaniach itp. Na drugi dzień praktycznie wykorzystaliśmy zdobyte wiedze, tworząc przepływy spełniające wymagania scenariuszy. W trzecim dniu zapoznaliśmy się z Nifi Registry, kontrolą wersji, wieloużytkownictwem oraz odbyła się sesja Q&A.
Adam - BHG Financial
Szkolenie - Apache NiFi for Administrators
Przetłumaczone przez sztuczną inteligencję
Podoba mi się, jak udało mu się omówić Nifi oraz jego potęgę. Możesz go zasadniczo wykorzystać w dowolnej infrastrukturze i korzystać z wielu różnych języków komputerowych. Równie miło było, że udało nam się rozwiązać problem odnowy certyfikatu Nifi, którym mieliśmy trudności z Truststore.
Joachim Martin - BHG Financial
Szkolenie - Apache NiFi for Administrators
Przetłumaczone przez sztuczną inteligencję
ogólne wiedza i możliwości, jakie szkolenie oferuje pod względem narzędzia.
Nalfis Tobar - BHG Financial
Szkolenie - Apache NiFi for Administrators
Przetłumaczone przez sztuczną inteligencję
