Plan Szkolenia

Przegląd podstaw Apache Airflow

  • Podstawowe pojęcia: DAGi, zadania i operatory
  • Architektura i komponenty Airflow
  • Podsumowanie typowych przypadków użycia i przepływów pracy

Optymalizacja wydajności przepływów pracy

  • Identyfikacja wąskich gardeł w potokach Airflow
  • Techniki optymalizacji na poziomie zadań
  • Wykorzystywanie ponownych prób zadań, równoległości i współbieżności

Zarządzanie złożonymi zależnościami

  • Definiowanie dynamicznych zależności w przepływach pracy
  • Obsługa warunkowych i rozgałęzionych przepływów pracy
  • Skuteczne wykorzystywanie grup zadań i pod-DAGów

Zaawansowane funkcje w Apache Airflow

  • Tworzenie niestandardowych operatorów i haków
  • Implementowanie sensorów do zewnętrznych wyzwalaczy
  • Integracja usług i wtyczek stron trzecich

Skalowanie wdrożeń Apache Airflow

  • Podejścia do skalowania poziomego i pionowego
  • Wykorzystywanie Celery Executors do wykonania rozproszonego
  • Najlepsze praktyki skalowania w środowiskach chmurowych

Monitorowanie i debugowanie przepływów pracy

  • Konfigurowanie logowania i alertów do monitorowania przepływów pracy
  • Wykorzystywanie interfejsu użytkownika i CLI Airflow do rozwiązywania problemów
  • Identyfikowanie i rozwiązywanie typowych problemów we wdrożeniach Airflow

Zabezpieczanie Apache Airflow

  • Uwierzytelnianie i kontrola dostępu w Airflow
  • Ochrona wrażliwych danych i konfiguracji środowiska
  • Implementowanie śladów audytowych dla przepływów pracy

Przypadki użycia w przedsiębiorstwach i najlepsze praktyki

  • Projektowanie solidnych przepływów pracy dla środowisk produkcyjnych
  • Wykorzystywanie Airflow do inżynierii danych i potoków ETL
  • Analiza rzeczywistych studiów przypadków skalowalnych wdrożeń Airflow

Podsumowanie i kolejne kroki

Wymagania

  • Podstawowa znajomość Apache Airflow
  • Znajomość programowania w Pythonie i koncepcji orkiestracji przepływów pracy
  • Doświadczenie w zarządzaniu i wdrażaniu aplikacji w środowiskach Linux

Grupa docelowa

  • Inżynierowie danych
  • Specjaliści DevOps
  • Programiści oprogramowania
 21 godzin

Liczba uczestników


Cena za uczestnika

Opinie uczestników (1)

Propozycje terminów

Powiązane Kategorie