Plan Szkolenia
Podstawy administracji Kafka
- Miejsce Kafka w nowoczesnej platformie danych i typowe obowiązki produkcyjne
- Podstawowe koncepcje dla operatorów: brokerzy, tematy, partycje, przesunięcia, grupy konsumentów
- Podstawy replikacji: liderzy i obserwatorzy, zsynchronizowane repliki, kompromisy dostępności
- Najważniejsze aspekty operacyjne Kafka i powszechnie używane terminy w dokumentacji operacyjnej
Tryb KRaft i projektowanie klastra
- Podstawy KRaft: kontrolery, kworum metadanych, wybory i ich znaczenie operacyjne
- Planowanie wdrożenia: dobór rozmiaru dla przepustowości, partycji, retencji i wzrostu
- Role i układ węzłów: kontrolery połączone vs dedykowane, uwzględnienie domen błędów
- Ćwiczenie: inspekcja metadanych KRaft, weryfikacja zdrowia kworum i interpretacja logów kontrolera
Instalacja, konfiguracja i codzienne operacje
- Metody instalacji (pakiety, tarball, kontenery) i co standaryzować w środowiskach korporacyjnych
- Podstawowa konfiguracja brokera wpływająca na niezawodność: nasłuchiwacze, replikacja, katalogi logów, retencja
- Bezpieczne operacje usług: kolejność uruchamiania, łagodne wyłączanie i weryfikacja
- Ćwiczenie: wdrożenie klastra wielowęzłowego, weryfikacja rejestracji brokera i potwierdzenie podstawowego produkowania i konsumowania
Zarządzanie tematami, partycjami i rozmieszczeniem danych
- Cykl życia tematów przy użyciu CLI Kafka: tworzenie, opis, aktualizacja konfiguracji, usuwanie
- Wybór partycji i czynników replikacji dla rzeczywistych obciążeń, w tym typowe antywzorce
- Przenoszenie i równoważenie partycji: kiedy przenosić partycje i jak bezpiecznie weryfikować postęp
- Ćwiczenie: tworzenie tematów, wyzwalanie przenoszenia partycji, symulacja awarii brokera i potwierdzenie odzyskania
Zabezpieczanie Kafka dla środowiska produkcyjnego
- TLS dla ruchu klienta i międzybrokera: certyfikaty, łańcuchy zaufania i kroki weryfikacji
- Uwierzytelnianie za pomocą SASL: wybór typowych mechanizmów i unikanie błędnej konfiguracji
- Autoryzacja za pomocą ACL: wzorce najmniejszych uprawnień dla administratorów, producentów i konsumentów
- Ćwiczenie: włączenie TLS i SASL, weryfikacja łączności klienta i zastosowanie ACL dla ról aplikacji
Obserwowalność, niezawodność i rozwiązywanie problemów
- Podstawy monitorowania: zdrowie kontrolera, niedostatecznie zreplikowane partycje, opóźnienia żądań, nasycenie dysku i sieci
- Logi i metryki: czytanie logów brokera i udostępnianie metryk za pomocą JMX exporter do powszechnych stosów obserwowalności
- Procedury operacyjne: stopniowe restartowanie, bezpieczne zmiany konfiguracji, obsługa problemów z pełnym dyskiem i ISR
- Ćwiczenie: zbudowanie minimalnego zestawu alertów, diagnozowanie zdegradowanego klastra i przywracanie zdrowej replikacji
Aktualizacje i gotowość na odzyskiwanie po awarii
- Planowanie aktualizacji Kafka: sprawdzanie kompatybilności, etapowanie i podejście do wycofywania
- Kopie zapasowe i oczekiwania dotyczące odzyskiwania: co można zbackupować, czego nie można i podstawy odzyskiwania konfiguracji
- Przegląd replikacji międzyklastrowych i kiedy używać MirrorMaker 2 do odzyskiwania po awarii i migracji
- Podsumowanie: checklista operacyjna, dokumenty przekazania i kolejne kroki wdrożenia produkcyjnego
Wymagania
- Znajomość podstaw administracji Linuxem (użytkownicy, usługi, pliki, uprawnienia)
- Doświadczenie w zakresie koncepcji sieciowych TCP/IP (DNS, porty, zapory sieciowe, load balancery)
- Podstawowa znajomość skryptów (Bash, PowerShell lub podobne) do rutynowych zadań operacyjnych
Grupa docelowa
- Administratorzy Kafka i inżynierowie platform odpowiedzialni za zarządzanie klastrami Kafka
- Inżynierowie Site Reliability i DevOps wspierający platformy przesyłania strumieniowego
- Zespoły infrastruktury i operacji wdrażające nowe klastry Kafka oparte na KRaft lub migrujące z ZooKeeper
Opinie uczestników (7)
Wprowadzenie do tematów i ćwiczeń, oraz pomoc w razie problemów przy wykonywaniu ćwiczeń
Jacek Zemla - Centrum Informatyki Resortu Finansow
Szkolenie - Kafka for Administrators
dostosowanie do oczekiwań słuchaczy
Hubert - PKO Zycie Towarzystwo Ubezpieczen S.A.
Szkolenie - Kafka for Administrators
Możliwość wykonywania niezależnych ćwiczeń w środowisku treningowym.
Tomasz - PKO Zycie Towarzystwo Ubezpieczen S.A.
Szkolenie - Kafka for Administrators
Przetłumaczone przez sztuczną inteligencję
Bez zbędnych wywodów, odpowiedni temp (aczkolwiek wymagane są podstawy Bash'a)
Krzysztof - Agora SA
Szkolenie - Kafka for Administrators
Przetłumaczone przez sztuczną inteligencję
Dużo praktycznej wiedzy
Maciej - Agora SA
Szkolenie - Kafka for Administrators
Trener przyjmuje pytania w dowolnym momencie sesji, nawet jeśli temat był omawiany kilka dni temu.
GOODLUCK MASHIMBA - Tanzania Revenue Authority
Szkolenie - Kafka for Administrators
Przetłumaczone przez sztuczną inteligencję
Miła umiejętność prezentacji
Md Maruf Hossain - ATOS PGS sp. z o.o.
Szkolenie - Kafka for Administrators
Przetłumaczone przez sztuczną inteligencję