Dziękujemy za wysłanie zapytania! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Dziękujemy za wysłanie rezerwacji! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Plan Szkolenia
Przegląd podstaw Apache Airflow
- Podstawowe pojęcia: DAGi, zadania i operatory
- Architektura i komponenty Airflow
- Podsumowanie typowych przypadków użycia i przepływów pracy
Optymalizacja wydajności przepływów pracy
- Identyfikacja wąskich gardeł w potokach Airflow
- Techniki optymalizacji na poziomie zadań
- Wykorzystywanie ponownych prób zadań, równoległości i współbieżności
Zarządzanie złożonymi zależnościami
- Definiowanie dynamicznych zależności w przepływach pracy
- Obsługa warunkowych i rozgałęzionych przepływów pracy
- Skuteczne wykorzystywanie grup zadań i pod-DAGów
Zaawansowane funkcje w Apache Airflow
- Tworzenie niestandardowych operatorów i haków
- Implementowanie sensorów do zewnętrznych wyzwalaczy
- Integracja usług i wtyczek stron trzecich
Skalowanie wdrożeń Apache Airflow
- Podejścia do skalowania poziomego i pionowego
- Wykorzystywanie Celery Executors do wykonania rozproszonego
- Najlepsze praktyki skalowania w środowiskach chmurowych
Monitorowanie i debugowanie przepływów pracy
- Konfigurowanie logowania i alertów do monitorowania przepływów pracy
- Wykorzystywanie interfejsu użytkownika i CLI Airflow do rozwiązywania problemów
- Identyfikowanie i rozwiązywanie typowych problemów we wdrożeniach Airflow
Zabezpieczanie Apache Airflow
- Uwierzytelnianie i kontrola dostępu w Airflow
- Ochrona wrażliwych danych i konfiguracji środowiska
- Implementowanie śladów audytowych dla przepływów pracy
Przypadki użycia w przedsiębiorstwach i najlepsze praktyki
- Projektowanie solidnych przepływów pracy dla środowisk produkcyjnych
- Wykorzystywanie Airflow do inżynierii danych i potoków ETL
- Analiza rzeczywistych studiów przypadków skalowalnych wdrożeń Airflow
Podsumowanie i kolejne kroki
Wymagania
- Podstawowa znajomość Apache Airflow
- Znajomość programowania w Pythonie i koncepcji orkiestracji przepływów pracy
- Doświadczenie w zarządzaniu i wdrażaniu aplikacji w środowiskach Linux
Grupa docelowa
- Inżynierowie danych
- Specjaliści DevOps
- Programiści oprogramowania
21 godzin
Opinie uczestników (1)
Umiejetnośc przekazania wiedzy, dobrze dobrana ilośc ćwiczeń,