Dziękujemy za wysłanie zapytania! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Dziękujemy za wysłanie rezerwacji! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Plan Szkolenia
Podsumowanie Apache Airflow Podstawy
- Podstawowe pojęcia: DAG, operatory i przepływ wykonania
- Architektura i komponenty przepływu powietrza
- Zrozumienie zaawansowanych przypadków użycia i przepływów pracy
Tworzenie niestandardowych operatorów
- Zrozumienie anatomii operatora Airflow
- Tworzenie niestandardowych operatorów dla określonych zadań
- Testowanie i debugowanie niestandardowych operatorów
Niestandardowe haki i czujniki
- Wdrażanie haków do integracji z systemami zewnętrznymi
- Tworzenie czujników do monitorowania zewnętrznych wyzwalaczy
- Zwiększanie interaktywności przepływu pracy za pomocą niestandardowych czujników
Tworzenie wtyczek Airflow
- Zrozumienie architektury wtyczek
- Projektowanie wtyczek rozszerzających funkcjonalność Airflow
- Najlepsze praktyki zarządzania i wdrażania wtyczek
Integracja Airflow z systemami zewnętrznymi
- Łączenie Airflow z bazami danych, interfejsami API i usługami w chmurze
- Używanie Airflow do przepływów pracy ETL i przetwarzania danych w czasie rzeczywistym
- Zarządzanie zależnościami między Airflow i systemami zewnętrznymi
Zaawansowane debugowanie i monitorowanie
- Korzystanie z dzienników i metryk Airflow do rozwiązywania problemów
- Konfigurowanie alertów i powiadomień dotyczących problemów z przepływem pracy
- Wykorzystanie zewnętrznych narzędzi monitorujących z Airflow
Optymalizacja wydajności i Scala bility
- Skalowanie Airflow za pomocą Celery i Kubernetes Executorów
- Optymalizacja wykorzystania zasobów w złożonych przepływach pracy
- Strategie wysokiej dostępności i odporności na błędy
Studia przypadków i rzeczywiste zastosowania
- Odkrywanie zaawansowanych przypadków użycia w inżynierii danych i DevOps
- Studium przypadku: Niestandardowa implementacja operatora dla ETL na dużą skalę
- Najlepsze praktyki zarządzania przepływami pracy na poziomie przedsiębiorstwa
Podsumowanie i kolejne kroki
Wymagania
- Dobre zrozumienie podstaw Apache Airflow, w tym DAG, operatorów i architektury wykonania.
- Biegłość w programowaniu Python
- Doświadczenie w integracji systemów danych i orkiestracji przepływu pracy
Uczestnicy
- Inżynierowie danych
- Inżynierowie DevOps
- Architekci oprogramowania
21 godzin
Opinie uczestników (1)
Umiejetnośc przekazania wiedzy, dobrze dobrana ilośc ćwiczeń,