Plan Szkolenia
Wprowadzenie do Apache Iceberg
- Przegląd aplikacji Apache Iceberg
- Przegląd podstawowych pojęć
Dogłębne zapoznanie się z architekturą Iceberg
- Dogłębna analiza formatu tabeli Iceberg
- Szczegółowy przegląd architektury, w tym metadane i układ plików
- Wewnętrzne elementy schematu i ewolucja partycji
Zaawansowana instalacja i konfiguracja
- Konfiguracja Iceberg dla optymalnej wydajności w różnych środowiskach
- Integracja z różnymi silnikami przetwarzania danych
- Zaawansowana konfiguracja: bezpieczeństwo, szyfrowanie i kontrola dostępu
- Konfiguracja Iceberg w środowisku rozproszonym
Zaawansowane operacje i konserwacja
- Zarządzanie wielkoskalowymi tabelami Iceberg
- Wdrażanie złożonych zmian schematu i zarządzanie nimi
- Obsługa ewolucji partycji i partycjonowania ukrytego
- Zaawansowane operacje CRUD ze zmianami schematu i partycji
Techniki optymalizacji zapytań
- Techniki zmniejszania opóźnień zapytań
- Przycinanie partycji i przycinanie plików
- Buforowanie metadanych i strategie optymalizacji
- Wdrażanie i testowanie technik optymalizacji zapytań
Dostrajanie wydajności dla dużych zbiorów danych
- Optymalizacja wydajności dla dużych zbiorów danych
- Korzystanie z wbudowanych funkcji Iceberg do dostrajania wydajności
- Studia przypadków dotyczące dostrajania wydajności w rzeczywistych scenariuszach
- Dostrajanie wydajności dla dużych zbiorów danych
Zaawansowana migracja i integracja danych
- Migracja złożonych struktur danych z innych systemów
- Integracja Iceberg ze strumieniami danych w czasie rzeczywistym
- Migracja złożonych zestawów danych i integracja strumieni danych w czasie rzeczywistym
Niezawodność i spójność
- Zapewnienie spójności i integralności danych w środowiskach rozproszonych
- Wdrażanie gwarancji transakcyjnych i zarządzanie nimi
- Obsługa awarii i mechanizmy odzyskiwania danych
- Wdrażanie funkcji niezawodności i spójności
Zaawansowane funkcje i dostosowywanie
- Niestandardowe implementacje katalogów
- Rozszerzanie Iceberg o niestandardowe funkcje
- Wdrażanie niestandardowego katalogu i rozszerzanie funkcjonalności Iceberg
Zarządzanie danymi i zgodność z przepisami
- Wdrażanie zasad zarządzania danymi
- Zgodność z przepisami dotyczącymi danych
- Zarządzanie ścieżkami audytu i pochodzeniem danych
- Wdrażanie funkcji zarządzania i zgodności
Podsumowanie i kolejne kroki
Wymagania
- Znajomość podstawowych pojęć, podstawowych operacji i zarządzania tabelą Iceberg
Uczestnicy
- Inżynierowie danych
- Architekci danych
- Analitycy danych
- Programiści
Opinie uczestników (4)
Trener dobrze zrozumiał koncepty
Josheel - Verizon Connect
Szkolenie - Amazon Redshift
Przetłumaczone przez sztuczną inteligencję
funkcje analityczne
khusboo dassani - Tech Northwest Skillnet
Szkolenie - SQL Advanced
Przetłumaczone przez sztuczną inteligencję
jak trener prezentuje swoją wiedzę z tematu, który uczy
john ernesto ii fernandez - Philippine AXA Life Insurance Corporation
Szkolenie - Data Vault: Building a Scalable Data Warehouse
Przetłumaczone przez sztuczną inteligencję
zakres wiedzy szkolącego