Plan Szkolenia
Wprowadzenie do Apache Airflow
- Czym jest orkiestracja przepływów pracy
- Kluczowe funkcje i zalety Apache Airflow
- Ulepszenia w Airflow 2.x i przegląd ekosystemu
Architektura i podstawowe pojęcia
- Procesy schedulera, serwera WWW i workerów
- DAG-i, zadania i operatory
- Executory i back-endy (Local, Celery, Kubernetes)
Instalacja i konfiguracja
- Instalowanie Airflow w środowiskach lokalnych i chmurowych
- Konfigurowanie Airflow z różnymi executorami
- Konfigurowanie baz metadanych i połączeń
Nawigacja po interfejsie Airflow UI i CLI
- Eksplorowanie interfejsu internetowego Airflow
- Monitorowanie uruchomień DAG-ów, zadań i logów
- Używanie Airflow CLI do administracji
Tworzenie i zarządzanie DAG-ami
- Tworzenie DAG-ów przy użyciu interfejsu TaskFlow API
- Używanie operatorów, sensorów i hooków
- Zarządzanie zależnościami i interwałami harmonogramu
Integrowanie Airflow z danymi i usługami chmurowymi
- Łączenie się z bazami danych, interfejsami API i kolejkami komunikatów
- Uruchamianie potoków ETL w Airflow
- Integracje chmurowe: operatory AWS, GCP, Azure
Monitorowanie i obserwowalność
- Logi zadań i monitorowanie w czasie rzeczywistym
- Metryki z Prometheus i Grafana
- Alerty i powiadomienia za pomocą e-mail lub Slacka
Zabezpieczanie Apache Airflow
- Kontrola dostępu oparta na rolach (RBAC)
- Uwierzytelnianie za pomocą LDAP, OAuth i SSO
- Zarządzanie sekretami z Vault i chmurowymi magazynami sekretów
Skalowanie Apache Airflow
- Równoległość, współbieżność i kolejki zadań
- Używanie CeleryExecutor i KubernetesExecutor
- Wdrażanie Airflow na Kubernetes z użyciem Helm
Najlepsze praktyki dla środowisk produkcyjnych
- Kontrola wersji i CI/CD dla DAG-ów
- Testowanie i debugowanie DAG-ów
- Utrzymywanie niezawodności i wydajności na dużą skalę
Rozwiązywanie problemów i optymalizacja
- Debugowanie nieudanych DAG-ów i zadań
- Optymalizowanie wydajności DAG-ów
- Typowe pułapki i jak ich unikać
Podsumowanie i kolejne kroki
Wymagania
- Doświadczenie w programowaniu w Pythonie
- Znajomość koncepcji inżynierii danych lub DevOps
- Zrozumienie ETL lub orkiestracji przepływów pracy
Grupa docelowa
- Analitycy danych (data scientists)
- Inżynierowie danych
- Inżynierowie DevOps i infrastruktury
- Programiści
Opinie uczestników (7)
Rozlegla wiedza, profesjonalizm, umiejetnosc odpowiedzi na kazde zadane pytanie, super podejscie, zdecydowanie polecam
joanna wasik
Szkolenie - Apache Airflow: Building and Managing Data Pipelines
Instruktor dostosował trening do poziomu uczestników i odpowiedział na wszystkie pytania. Był bardzo komunikatywny, a interakcja z nim była łatwa. Bardzo doceniałem format szkolenia, który zawierał wiele ćwiczeń praktycznych. Całościowo, to był bardzo angażujący i dobrze zorganizowany seans.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Szkolenie - Apache Airflow: Building and Managing Data Pipelines
Przetłumaczone przez sztuczną inteligencję
Szkolenie było doskonałe. Bardzo przydatna teoria i ćwiczenia.
Vladimir - PUBLIC COURSE
Szkolenie - Apache Airflow
Przetłumaczone przez sztuczną inteligencję
Szkolenie było idealne we wszystkich aspektach. Przydatne aspekty teoretyczne i ćwiczenia.
Vladimir - PUBLIC COURSE
Szkolenie - Apache Airflow
Przetłumaczone przez sztuczną inteligencję
Szkolenie było idealne we wszystkich aspektach. Przydatne aspekty teoretyczne i ćwiczenia.
Vladimir - PUBLIC COURSE
Szkolenie - Apache Airflow
Przetłumaczone przez sztuczną inteligencję
Szkolenie było idealne we wszystkich aspektach. Przydatne aspekty teoretyczne i ćwiczenia.
Vladimir - PUBLIC COURSE
Szkolenie - Apache Airflow
Przetłumaczone przez sztuczną inteligencję
Szkolenie było idealne we wszystkich aspektach. Przydatne aspekty teoretyczne i ćwiczenia.
Vladimir - PUBLIC COURSE
Szkolenie - Apache Airflow
Przetłumaczone przez sztuczną inteligencję
