Bądźmy w kontakcie

Plan Szkolenia

Podsumowanie podstaw Apache Airflow

  • Podstawowe koncepcje: DAGi, operatory i przepływ wykonania
  • Architektura i komponenty Airflow
  • Zrozumienie zaawansowanych przypadków użycia i przepływów pracy

Tworzenie niestandardowych operatorów

  • Zrozumienie budowy operatora Airflow
  • Tworzenie niestandardowych operatorów do konkretnych zadań
  • Testowanie i debugowanie niestandardowych operatorów

Niestandardowe haki i sensory

  • Implementowanie haków do integracji z zewnętrznymi systemami
  • Tworzenie sensorów do monitorowania zewnętrznych wyzwalaczy
  • Zwiększanie interaktywności przepływów pracy za pomocą niestandardowych sensorów

Tworzenie wtyczek Airflow

  • Zrozumienie architektury wtyczek
  • Projektowanie wtyczek w celu rozszerzenia funkcjonalności Airflow
  • Najlepsze praktyki w zarządzaniu i wdrażaniu wtyczek

Integracja Airflow z zewnętrznymi systemami

  • Łączenie Airflow z bazami danych, API i usługami chmurowymi
  • Wykorzystanie Airflow do przepływów pracy ETL i przetwarzania danych w czasie rzeczywistym
  • Zarządzanie zależnościami między Airflow a zewnętrznymi systemami

Zaawansowane debugowanie i monitorowanie

  • Wykorzystanie logów i metryk Airflow do rozwiązywania problemów
  • Konfigurowanie alertów i powiadomień dotyczących problemów z przepływami pracy
  • Wykorzystanie zewnętrznych narzędzi monitorujących z Airflow

Optymalizacja wydajności i skalowalności

  • Skalowanie Airflow za pomocą Celery i Kubernetes Executors
  • Optymalizacja wykorzystania zasobów w złożonych przepływach pracy
  • Strategie zapewniające wysoką dostępność i tolerancję błędów

Studia przypadków i zastosowania w rzeczywistych scenariuszach

  • Eksploracja zaawansowanych przypadków użycia w inżynierii danych i DevOps
  • Studium przypadku: Implementacja niestandardowego operatora dla dużych skal ETL
  • Najlepsze praktyki w zarządzaniu przepływami pracy na poziomie przedsiębiorstwa

Podsumowanie i kolejne kroki

Wymagania

  • Zaawansowana znajomość podstaw Apache Airflow, w tym DAGów, operatorów i architektury wykonania
  • Biegłość w programowaniu w Pythonie
  • Doświadczenie w integracji systemów danych i orkiestracji przepływów pracy

Odbiorcy

  • Inżynierowie danych
  • Inżynierowie DevOps
  • Architekci oprogramowania
 21 godzin

Liczba uczestników


Cena za uczestnika (netto)

Opinie uczestników (1)

Propozycje terminów

Powiązane Kategorie