Web Scraping za pomocą Pythona - Plan Szkolenia
Web Scraping to technika pozyskiwania danych z witryny internetowej, a następnie zapisywania ich w lokalnym pliku lub bazie danych.
Trening prowadzony przez instruktora (online lub stacjonarnie) jest skierowany do programistów, którzy chcą używać Pythona do automatyzacji procesu przeszukiwania wielu stron internetowych w celu pozyskania i analizy danych.
Na końcu tego treningu uczestnicy będą w stanie:
- Zainstalować i skonfigurować Pythona oraz wszystkie odpowiednie pakiety.
- Pobrać i przetworzyć dane przechowywane na wielu stronach internetowych.
- rozumieć, jak działają strony internetowe i jak jest zbudowana ich struktura HTML.
- Konstruować pająki do przeszukiwania sieci w dużym zakresie.
- Używać Selenium do przeszukiwania stron internetowych sterowanych AJAX-em.
Format kursu
- Zajecia interaktywne, diskusja.
- Duże mnóstwo ćwiczeń i praktyki.
- Ręczna implementacja w środowisku live-lab.
Opcje dostosowywania kursu
- Ten kurs zakłada znajomość programowania.
- Aby poprosić o dostosowany trening dla tego kursu, prosimy skontaktować się z nami w celu ustalenia szczegółów.
Plan Szkolenia
Wprowadzenie
Konfiguracja środowiska deweloperskiego
Podstawy Pythona: struktury danych, warunki, obsługa plików itp.
Pakiety Pythona do Web Scrapingu: Scrapy i BeautifulSoup
Jak działa strona internetowa
Jak jest zbudowana struktura HTML
Wykonywanie żądań sieciowych
Przeszukiwanie strony HTML
Praca z XPath i CSS
Filtrowanie danych przy użyciu wyrażeń regularnych
Konstruowanie web crawlera
Przeszukiwanie stron AJAX i JavaScript za pomocą Selenium.
Najlepsze praktyki w Web Scrapingu
Rozwiązywanie problemów
Podsumowanie i wnioski
Wymagania
- Doświadczenie w programowaniu,preferowane w Pythonie. Jeśli uczestnicy mają doświadczenie w innym języku programowania niż Python, trening może być rozszerzony o więcej wprowadzających ćwiczeń dotyczących Pythona.
Grupa docelowa
- Programiści
Szkolenia otwarte są realizowane w przypadku uzbierania się grupy szkoleniowej liczącej co najmniej 5 osób na dany termin.
Web Scraping za pomocą Pythona - Plan Szkolenia - Rezerwacja
Web Scraping za pomocą Pythona - Plan Szkolenia - Zapytanie
Web Scraping za pomocą Pythona - Zapytanie o Konsultacje
Opinie uczestników (1)
Obejmujemy wiele różnych przykładów i tematów, od podstawowej analizy po zarządzanie logowaniem i dynamiczną obsługę stron.
Daniele Tagliaferro - Creditsafe Italia Srl
Szkolenie - Web Scraping with Python
Przetłumaczone przez sztuczną inteligencję
Propozycje terminów
Szkolenia Powiązane
Zaawansowany Python: Najlepsze Praktyki i wzorce projektowe
28 godzinTen intensywny, praktyczny kurs obejmuje zaawansowane techniki Pythona, najlepsze praktyki inżynierskie oraz często stosowane wzory projektowe w celu budowy utrzywalnych, testowalnych i wysokowydajnych aplikacji Python. Kurs podkreśla nowoczesne narzędzia, systemy typów, modele współbieżności, architektury oraz gotowe do wdrożenia przepływy pracy.
Ten prowadzony przez instruktora, na żywo kurs (online lub stacjonarnie) jest skierowany do poziomu średniozaawansowanego do zaawansowanego deweloperów Pythona, którzy chcą zastosować profesjonalne praktyki i wzorce dla systemów produkcyjnych Python.
Na końcu tego szkolenia uczestnicy będą w stanie:
- Zastosować systemy typów Pythona, dataclasses i sprawdzanie typów, aby zwiększyć niezawodność kodu.
- Używać wzorców projektowych i zasad architektury do strukturyzowania solidnych aplikacji.
- Poprawnie implementować współbieżność i równoległość za pomocą asyncio i multiprocessing.
- Budować dobrze przetestowany kod za pomocą pytest, testów opartych na właściwościach i potoków CI.
- Profileować, optymalizować i twardego Pythona aplikacje dla produkcji.
- Pakować, dystrybuować i wdrażać projekty Pythona za pomocą nowoczesnych narzędzi i kontenerów.
Format kursu
- Interaktywne wykłady i krótkie demonstracje.
- Praktyczne laboratoria i ćwiczenia programistyczne każdego dnia.
- Kapitalowy projekt mini, integrujący wzorce, testowanie i wdrażanie.
Opcje dostosowywania kursu
- Aby poprosić o dostosowane szkolenie lub obszar skupienia (dane, web, infrastruktura), prosimy o kontakt.
Inżynieria Agentowych Systemów AI z Pythonem — Budowa Autonomicznych Agentów
21 godzinTen kurs uczy praktycznych technik inżynierskich do projektowania, budowania, testowania i wdrażania agentowych (autonomicznych) systemów przy użyciu Pythona. Obejmuje pętlę agenta, integrację narzędzi, zarządzanie pamięcią i stanem, wzorce orkiestracji, kontrolę bezpieczeństwa oraz aspekty produkcyjne.
Szkolenie prowadzone przez instruktora, na żywo (online lub na miejscu) jest skierowane do inżynierów uczenia maszynowego, developerów AI oraz inżynierów oprogramowania na poziomie średniozaawansowanym i zaawansowanym, którzy chcą budować solidne, gotowe do produkcji autonomiczne agenty przy użyciu Pythona.
Po ukończeniu szkolenia uczestnicy będą potrafili:
- Projektować i implementować pętlę agenta oraz przepływy decyzyjne.
- Integrować zewnętrzne narzędzia i API w celu rozszerzenia możliwości agenta.
- Implementować architektury pamięci krótko- i długoterminowej dla agentów.
- Koordynować wieloetapowe orkiestracje i kompozycję agentów.
- Stosować najlepsze praktyki dotyczące bezpieczeństwa, kontroli dostępu i obserwowalności dla wdrożonych agentów.
Format kursu
- Interaktywne wykłady i dyskusje.
- Praktyczne laboratoria budujące agenty przy użyciu Pythona i popularnych SDK.
- Ćwiczenia oparte na projektach, które tworzą prototypy gotowe do wdrożenia.
Opcje dostosowania kursu
- Aby zamówić dostosowane szkolenie, prosimy o kontakt w celu uzgodnienia szczegółów.
Wprowadzenie do Data Science i AI przy użyciu Pythona
35 godzinTo 5-dniowe wprowadzenie do Data Science i Sztucznej Inteligencji (AI).
Kurs jest prowadzony z przykładami i ćwiczeniami przy użyciu Pythona.
Sztuczna inteligencja z Python (Pozostały poziom)
35 godzinSztuczna inteligencja z Pythonem polega na tworzeniu inteligentnych systemów za pomocą rozbudowanego ekosystemu bibliotek AI i uczenia maszynowego w Pythonie.
To szkolenie prowadzone przez instruktora (online lub stacjonarne) jest przeznaczone dla programistów Python o poziomie średnim, którzy chcą projektować, wdrażać i rozwijać rozwiązania AI za pomocą Pythona.
Po ukończeniu tego szkolenia uczestnicy będą w stanie:
- Wdrażać algorytmy AI za pomocą podstawowych bibliotek AI w Pythonie.
- Pracować z modelami uczenia nadzorowanego, nienadzorowanego i wzmacniania.
- Integrować rozwiązania AI z istniejącymi aplikacjami i przepływami pracy.
- Oceniać wydajność modeli i optymalizować je pod kątem dokładności i efektywności.
Format kursu
- Interaktywne wykłady i dyskusje.
- Dużo ćwiczeń i praktyki.
- Ręczne wdrażanie w środowisku live-lab.
Opcje dostosowywania kursu
- Aby poprosić o dostosowane szkolenie dla tego kursu, skontaktuj się z nami, aby to ułożyć.
Handlowanie algorytmiczne z użyciem Pythona i R
14 godzinTo prowadzone przez instruktora szkolenie na żywo w Polsce (online lub stacjonarnie) jest skierowane do analityków biznesowych, którzy chcą automatyzować transakcje za pomocą handlowania algorytmicznego, Pythona i R.
Po zakończeniu tego szkolenia uczestnicy będą w stanie:
- Zastosować algorytmy do kupowania i sprzedawania papierów wartościowych w specjalizowanych inkrementach szybko.
- Zmniejszyć koszty związane z transakcjami za pomocą handlowania algorytmicznego.
- Automatycznie monitorować kursy akcji i wykonywać transakcje.
Sztuczna inteligencja od podstaw w Python
28 godzinJest to 4-dniowy kurs wprowadzający sztuczną inteligencję i jej zastosowanie przy użyciu języka programowania Python. Istnieje możliwość dodatkowego dnia na podjęcie projektu AI po ukończeniu tego kursu.
AWS Cloud9 i Python: Praktyczny przewodnik
14 godzinSzkolenie prowadzone przez instruktora na żywo w Polsce (online lub na miejscu) skierowane jest do programistów Python na poziomie średniozaawansowanym, którzy chcą poprawić swoje doświadczenie w rozwoju aplikacji Python przy użyciu AWS Cloud9.
Pod koniec szkolenia uczestnicy będą potrafili:
- Skonfigurować i dostosować AWS Cloud9 do rozwoju aplikacji Python.
- Zrozumieć interfejs i funkcje IDE AWS Cloud9.
- Pisać, debugować i wdrażać aplikacje Python w AWS Cloud9.
- Współpracować z innymi programistami za pomocą platformy AWS Cloud9.
- Integrować AWS Cloud9 z innymi usługami AWS w celu zaawansowanego wdrażania.
Python i Blockchain
28 godzinSzkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla początkujących i średnio zaawansowanych programistów, którzy chcą używać Python do tworzenia aplikacji blockchain i kryptowalut.
Po zakończeniu tego szkolenia uczestnicy będą w stanie
- Używaj Python do tworzenia i manipulowania systemami blockchain i kryptowalutami oraz danymi.
- Używaj Python bibliotek i frameworków, takich jak Flask, PyCrypto i web3.py do interakcji z sieciami i usługami blockchain i kryptowalut.
- Używaj Python do implementacji inteligentnych kontraktów, algorytmów konsensusu i protokołów kryptograficznych dla aplikacji blockchain i kryptowalut.
- Używaj Python do opracowywania i wdrażania zdecentralizowanych aplikacji (DApps), które działają na platformach blockchain i kryptowalutowych.
- Używaj Python do przeprowadzania analizy i wizualizacji danych na blockchainie i kryptowalutach.
Skalowanie analizy danych z użyciem Pythona i Dask
14 godzinSzkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla analityków danych i inżynierów oprogramowania, którzy chcą używać Dask z ekosystemem Python do tworzenia, skalowania i analizowania dużych zbiorów danych.
Po zakończeniu tego szkolenia uczestnicy będą w stanie
- Skonfiguruj środowisko, aby rozpocząć przetwarzanie dużych zbiorów danych za pomocą Dask i Pythona.
- Zapoznanie się z funkcjami, bibliotekami, narzędziami i interfejsami API dostępnymi w Dask.
- Zrozumienie, w jaki sposób Dask przyspiesza obliczenia równoległe w Pythonie.
- Dowiedz się, jak skalować ekosystem Pythona (Numpy, SciPy i Pandas) przy użyciu Dask.
- Optymalizacja środowiska Dask w celu utrzymania wysokiej wydajności w obsłudze dużych zbiorów danych.
Data Analysis with Python, Pandas and Numpy
14 godzinTo szkolenie prowadzone przez instruktora na żywo w Polsce (online lub na miejscu) jest skierowane do programistów Pythona i analityków danych na poziomie średnio zaawansowanym, którzy chcą poprawić swoje umiejętności w zakresie analizy i manipulacji danymi przy użyciu Pandas i NumPy.
Pod koniec szkolenia uczestnicy będą mogli:
- Skonfigurować środowisko programistyczne obejmujące Python, Pandas i NumPy.
- Tworzyć aplikacje do analizy danych przy użyciu Pandas i NumPy.
- Wykonywać zaawansowane operacje porządkowania, sortowania i filtrowania danych.
- Przeprowadzać operacje agregacyjne i analizować dane szeregów czasowych.
- Wizualizować dane za pomocą Matplotlib i innych bibliotek wizualizacyjnych.
- Debugować i optymalizować kod analizy danych.
FARM (FastAPI, React, and MongoDB) Full Stack Development
14 godzinTo szkolenie prowadzone przez instruktora (online lub na miejscu) jest skierowane do programistów, którzy chcą wykorzystać stos FARM (FastAPI, React i MongoDB) do budowy dynamicznych, wysokowydajnych i skalowalnych aplikacji internetowych.
Po zakończeniu tego szkolenia uczestnicy będą w stanie:
- Zainstalować niezbędne środowisko rozwojowe, które integruje FastAPI, React i MongoDB.
- Zrozumieć kluczowe koncepcje, funkcje i korzyści stosu FARM.
- Nauczyć się budowy API REST za pomocą FastAPI.
- Nauczyć się projektowania interaktywnych aplikacji za pomocą React.
- Rozwijać, testować i wdrażać aplikacje (front-end i back-end) za pomocą stosu FARM.
Rozwijanie API za pomocą Python i FastAPI
14 godzinSzkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla programistów, którzy chcą używać FastAPI z Python do łatwiejszego i szybszego tworzenia, testowania i wdrażania interfejsów API RESTful.
Po zakończeniu tego szkolenia uczestnicy będą w stanie
- Skonfigurować niezbędne środowisko programistyczne do tworzenia API z wykorzystaniem Python i FastAPI.
- Tworzyć API szybciej i łatwiej, korzystając z biblioteki FastAPI.
- Nauczyć się tworzyć modele danych i schematy oparte na Pydantic i OpenAPI.
- Połączyć API z bazą danych za pomocą SQLAlchemy.
- Zaimplementować zabezpieczenia i uwierzytelnianie w API, korzystając z narzędzi FastAPI.
- Budować obrazy kontenerów i wdrażać API internetowe na serwerze chmurowym.
Budowa aplikacji webowych z FastAPI i bazami danych
21 godzinSzkolenie koncentruje się na praktycznej nauce tworzenia REST API przy użyciu frameworka FastAPI. Uczestnicy poznają kompletny proces budowy aplikacji webowej – od zrozumienia architektury klient-serwer i protokołu HTTP, przez implementację wszystkich operacji CRUD, aż po integrację z bazą danych i zabezpieczenie aplikacji.
Program obejmuje pracę z prostym, przykładowym projektem, który uczestnicy budują krok po kroku. Nauczą się definiować endpointy, walidować dane wejściowe za pomocą Pydantic, obsługiwać błędy oraz zwracać odpowiednie kody statusu HTTP. Poznają dwa podejścia do pracy z bazą danych: bezpośrednie zapytania SQL przez psycopg oraz ORM SQLAlchemy.
Duży nacisk kładziemy na organizację kodu – podział na moduły, separację logiki, oraz dobre praktyki strukturyzacji projektu. Uczestnicy nauczą się również testować swoje API przy użyciu TestClient, pracować z automatycznie generowaną dokumentacją oraz implementować mechanizmy uwierzytelniania i hashowania haseł.
Po szkoleniu uczestnik będzie potrafił samodzielnie zaprojektować i zaimplementować funkcjonalne REST API z połączeniem do bazy danych, zabezpieczone i gotowe do dalszego rozwoju. Otrzyma praktyczną wiedzę pozwalającą na rozpoczęcie pracy jako backend developer w Pythonie.
Przyspieszanie przepływów pracy w Python Pandas z wykorzystaniem Modin
14 godzinTo szkolenie prowadzone przez instruktora, na żywo w Polsce (online lub na miejscu) jest skierowane do naukowców zajmujących się danymi oraz programistów, którzy chcą wykorzystać Modin do budowania i implementowania równoległych obliczeń z Pandas w celu szybszej analizy danych.
Pod koniec szkolenia uczestnicy będą mogli:
- Skonfigurować niezbędne środowisko do rozpoczęcia tworzenia przepływów pracy w Pandas na dużą skalę z wykorzystaniem Modin.
- Zrozumieć funkcje, architekturę i zalety Modin.
- Poznać różnice między Modin, Dask i Ray.
- Wykonywać operacje w Pandas szybciej z wykorzystaniem Modin.
- Implementować całe API i funkcje Pandas.
Analiza danych w Pythonie – NumPy, Pandas i wizualizacja
21 godzin
Szkolenie obejmuje kluczowe narzędzia wykorzystywane w pracy analitycznej i data science:
NumPy (operacje tablicowe), Pandas (analiza danych tabelarycznych) oraz biblioteki do wizualizacji.
Moduły prowadzą uczestnika od podstaw przetwarzania danych po tworzenie wykresów
i eksploracyjną analizę zbiorów danych (EDA)