Dziękujemy za wysłanie zapytania! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Dziękujemy za wysłanie rezerwacji! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Plan Szkolenia
Podsumowanie podstaw Apache Airflow
- Podstawowe koncepcje: DAGi, operatory i przepływ wykonania
- Architektura i komponenty Airflow
- Zrozumienie zaawansowanych przypadków użycia i przepływów pracy
Tworzenie niestandardowych operatorów
- Zrozumienie budowy operatora Airflow
- Tworzenie niestandardowych operatorów do konkretnych zadań
- Testowanie i debugowanie niestandardowych operatorów
Niestandardowe haki i sensory
- Implementowanie haków do integracji z zewnętrznymi systemami
- Tworzenie sensorów do monitorowania zewnętrznych wyzwalaczy
- Zwiększanie interaktywności przepływów pracy za pomocą niestandardowych sensorów
Tworzenie wtyczek Airflow
- Zrozumienie architektury wtyczek
- Projektowanie wtyczek w celu rozszerzenia funkcjonalności Airflow
- Najlepsze praktyki w zarządzaniu i wdrażaniu wtyczek
Integracja Airflow z zewnętrznymi systemami
- Łączenie Airflow z bazami danych, API i usługami chmurowymi
- Wykorzystanie Airflow do przepływów pracy ETL i przetwarzania danych w czasie rzeczywistym
- Zarządzanie zależnościami między Airflow a zewnętrznymi systemami
Zaawansowane debugowanie i monitorowanie
- Wykorzystanie logów i metryk Airflow do rozwiązywania problemów
- Konfigurowanie alertów i powiadomień dotyczących problemów z przepływami pracy
- Wykorzystanie zewnętrznych narzędzi monitorujących z Airflow
Optymalizacja wydajności i skalowalności
- Skalowanie Airflow za pomocą Celery i Kubernetes Executors
- Optymalizacja wykorzystania zasobów w złożonych przepływach pracy
- Strategie zapewniające wysoką dostępność i tolerancję błędów
Studia przypadków i zastosowania w rzeczywistych scenariuszach
- Eksploracja zaawansowanych przypadków użycia w inżynierii danych i DevOps
- Studium przypadku: Implementacja niestandardowego operatora dla dużych skal ETL
- Najlepsze praktyki w zarządzaniu przepływami pracy na poziomie przedsiębiorstwa
Podsumowanie i kolejne kroki
Wymagania
- Zaawansowana znajomość podstaw Apache Airflow, w tym DAGów, operatorów i architektury wykonania
- Biegłość w programowaniu w Pythonie
- Doświadczenie w integracji systemów danych i orkiestracji przepływów pracy
Odbiorcy
- Inżynierowie danych
- Inżynierowie DevOps
- Architekci oprogramowania
21 godzin
Opinie uczestników (1)
Rozlegla wiedza, profesjonalizm, umiejetnosc odpowiedzi na kazde zadane pytanie, super podejscie, zdecydowanie polecam