Web Scraping with Python - Plan Szkolenia
Web Scraping to technika wyodrębniania danych ze strony internetowej, a następnie zapisywania ich w lokalnym pliku lub bazie danych.
Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla programistów, którzy chcą używać Python do automatyzacji procesu indeksowania wielu stron internetowych w celu wyodrębnienia danych do przetwarzania i analizy.
Po zakończeniu tego szkolenia uczestnicy będą w stanie
- Zainstalować i skonfigurować Python oraz wszystkie niezbędne pakiety.
- Pobierać i analizować dane przechowywane na wielu stronach internetowych.
- Zrozumieć, jak działają strony internetowe i jak jest zbudowana ich HTML.
- Tworzyć pająki do przeszukiwania sieci w dużej skali.
- Używać Selenium do przeszukiwania stron internetowych opartych na AJAX.
Format kursu
- Interaktywny wykład i dyskusja.
- Wiele ćwiczeń i praktycznych zadań.
- Praktyczna implementacja w środowisku live-lab.
Opcje dostosowywania kursu
- Kurs zakłada znajomość programowania.
- Aby poprosić o dostosowane szkolenie w ramach tego kursu, prosimy o kontakt w celu ustalenia szczegółów.
Plan Szkolenia
Wstęp
Konfigurowanie środowiska programistycznego
Python Elementarz: Struktury danych, warunki warunkowe, obsługa plików itp.
Python Pakiety do skrobania sieci: Scrapy i BeautifulSoup
Jak działa witryna internetowa
Jak HTML jest zorganizowane
Tworzenie żądania internetowego
Skrobanie HTML strony
Praca z XPath i CSS
Filtrowanie danych przy użyciu zwykłych Expressjonów
Tworzenie robota sieciowego
Indeksowanie stron AJAX i JavaScript za pomocą Selenium.
Najlepsze praktyki dotyczące skrobania sieci
Rozwiązywanie problemów
Podsumowanie i wnioski
Wymagania
- Doświadczenie Programming, najlepiej w Python. Jeśli uczestnicy posiadają doświadczenie w programowaniu w innym języku niż Python, szkolenie może zostać rozszerzone o bardziej wprowadzające ćwiczenia w Python.
Uczestnicy
- Deweloperzy
Szkolenia otwarte są realizowane w przypadku uzbierania się grupy szkoleniowej liczącej co najmniej 5 osób na dany termin.
Web Scraping with Python - Plan Szkolenia - Booking
Web Scraping with Python - Plan Szkolenia - Enquiry
Web Scraping with Python - Zapytanie o Konsultacje
Zapytanie o Konsultacje
Opinie uczestników (1)
Many different examples and topics have been covered, ranging from basic investigations to login management and dynamic page management.
Daniele Tagliaferro - Creditsafe Italia Srl
Szkolenie - Web Scraping with Python
Przetłumaczone przez sztuczną inteligencję
Propozycje terminów
Szkolenia Powiązane
Programowanie w języku Python od podstaw
28 godzinTen kurs jest przeznaczony dla tych, którzy chcą nauczyć się języka programowania Python. Nacisk kładziony jest na język Python, podstawowe biblioteki, a także na wybór najlepszych i najbardziej przydatnych bibliotek opracowanych przez społeczność Python. Python napędza biznes i jest używany przez naukowców na całym świecie – jest to jeden z najpopularniejszych języków programowania.
Kurs może być realizowany z wykorzystaniem najnowszej wersji Python 3.x z praktycznymi ćwiczeniami wykorzystującymi pełnię jego możliwości. Kurs ten może być prowadzony na dowolnym systemie operacyjnym (wszystkie odmiany UNIX, w tym Linux i Mac OS X, a także Microsoft Windows).
Ćwiczenia praktyczne stanowią około 70% czasu kursu, a około 30% to demonstracje i prezentacje. Dyskusje i pytania można zadawać przez cały czas trwania kursu.
Uwaga: szkolenie może być dostosowane do konkretnych potrzeb po wcześniejszym zgłoszeniu przed proponowaną datą kursu.
Machine Learning with Python – 2 Days
14 godzinCelem tego kursu jest zapewnienie podstawowej biegłości w stosowaniu metod uczenia maszynowego w praktyce. Dzięki wykorzystaniu języka programowania Python i jego różnych bibliotek oraz w oparciu o wiele praktycznych przykładów, kurs ten uczy, jak korzystać z najważniejszych elementów składowych uczenia maszynowego, jak podejmować decyzje dotyczące modelowania danych, interpretować dane wyjściowe algorytmów i weryfikować wyniki.
Naszym celem jest zapewnienie umiejętności rozumienia i korzystania z najbardziej podstawowych narzędzi z zestawu narzędzi Machine Learning oraz unikania typowych pułapek aplikacji Data Sciences.
Data Analysis with Python, Pandas and Numpy
14 godzinTo szkolenie prowadzone przez instruktora, dostępne online lub na miejscu, jest skierowane do developerów i analityków danych na poziomie średnim, którzy chcą podnieść swoje umiejętności w zakresie analizy i manipulacji danych za pomocą Pandas i NumPy.
Na koniec tego szkolenia uczestnicy będą w stanie:
- Uruchomić środowisko rozwojowe, które obejmuje Python, Pandas i NumPy.
- Stworzyć aplikację do analizy danych za pomocą Pandas i NumPy.
- Wykonawać zaawansowane operacje przygotowania danych, sortowania i filtrowania.
- Przeprowadzać operacje agregacji i analizować dane czasowe.
- Wizualizować dane za pomocą Matplotlib i innych bibliotek wizualizacyjnych.
- Debugować i optymalizować swój kod analizy danych.
BDD with Python and Behave
7 godzinThis instructor-led, live training begins with a discussion of BDD and how the Behave framework can be used to carry out BDD testing for web applications. Participants are given ample opportunity to interact with the instructor and peers while implementing the concepts and tactics learned in this hands-on, practice-based lab environment.
At the end of this training, participants will have a solid understanding of BDD and Behave, as well as the necessary practice to implement these techniques and tools in real-world testing scenarios.
Test Automation with Selenium and Python
14 godzinW tym prowadzonym przez instruktora szkoleniu na żywo Polsce uczestnicy łączą moc Pythona z Selenium, aby zautomatyzować testowanie przykładowej aplikacji internetowej. Łącząc teorię z praktyką w środowisku laboratoryjnym na żywo, uczestnicy zdobędą wiedzę i praktykę potrzebną do zautomatyzowania własnych projektów testowania stron internetowych przy użyciu Pythona i Selenium.
Advanced Python - 4 Days
28 godzinW tym prowadzonym przez instruktora szkoleniu na żywo w Polsce uczestnicy poznają zaawansowane techniki programowania Python, w tym sposoby zastosowania tego wszechstronnego języka do rozwiązywania problemów w takich obszarach, jak aplikacje rozproszone, analiza i wizualizacja danych, programowanie interfejsu użytkownika i skrypty konserwacyjne.
Python: Automate the Boring Stuff
14 godzinTen prowadzony przez instruktora trening na żywo w Polsce oparty jest na popularnej książce "Automate the Boring Stuff with Python", autorstwa Ala Sweigarta. Jest skierowany do początkujących i obejmuje podstawowe Python koncepcje programowania poprzez praktyczne, praktyczne ćwiczenia i dyskusje. Skupia się na nauce pisania kodu, aby znacznie zwiększyć produktywność biura.
Pod koniec tego szkolenia uczestnicy będą wiedzieli, jak programować w Python i stosować tę nową umiejętność:
- Automatyzacja zadań poprzez pisanie prostych programów w Python.
- Pisanie programów, które potrafią rozpoznawać wzorce w tekście za pomocą „wyrażeń regularnych”.
- Programowe generowanie i aktualizowanie arkuszy kalkulacyjnych Excel.
- Parsowanie plików PDF i dokumentów Word.
- Przeszukiwanie stron internetowych i pobieranie informacji z zasobów online.
- Pisanie programów, które wysyłają powiadomienia e-mail.
- Korzystanie z narzędzi debugowania Python w celu szybkiego rozwiązywania błędów.
- Programowe sterowanie myszą i klawiaturą, aby klikać i pisać za Ciebie.
Machine Learning w Python
28 godzinCelem tego kursu jest zapewnienie ogólnej biegłości w stosowaniu metod uczenia maszynowego w praktyce. Dzięki wykorzystaniu języka programowania Python i jego różnych bibliotek oraz w oparciu o wiele praktycznych przykładów, kurs ten uczy, jak korzystać z najważniejszych elementów składowych uczenia maszynowego, jak podejmować decyzje dotyczące modelowania danych, interpretować dane wyjściowe algorytmów i weryfikować wyniki.
Naszym celem jest zapewnienie umiejętności rozumienia i korzystania z najbardziej podstawowych narzędzi z zestawu narzędzi Machine Learning oraz unikania typowych pułapek aplikacji Data Sciences.
Advanced Machine Learning with Python
21 godzinW tym prowadzonym przez instruktora szkoleniu na żywo w Polsce uczestnicy poznają najbardziej odpowiednie i najnowocześniejsze techniki uczenia maszynowego w Python, budując serię aplikacji demonstracyjnych obejmujących obraz, muzykę, tekst i dane finansowe.
Pod koniec tego szkolenia uczestnicy będą mogli
- Wdrożyć algorytmy i techniki uczenia maszynowego do rozwiązywania złożonych problemów.
- Zastosować głębokie uczenie się i pół-nadzorowane uczenie się do aplikacji obejmujących obraz, muzykę, tekst i dane finansowe.
- Wykorzystać maksymalny potencjał algorytmów Python.
- Korzystać z bibliotek i pakietów, takich jak NumPy i Theano.
Python for Natural Language Generation (NLG)
21 godzinW tym szkoleniu prowadzonym przez instruktora w Polsce, uczestnicy nauczą się wykorzystywać Python do produkcji wysokiej jakości tekstu języka naturalnego, budując własny system NLG od podstaw. Będą również analizowane studium przypadków, a odpowiednie koncepcje będą zastosowane do żywych projektów laboratoryjnych w celu generowania treści.
Na zakończenie tego szkolenia uczestnicy będą w stanie:
- Używać NLG do automatycznego generowania treści dla różnych branż, od dziennikarstwa, przez nieruchomości, po raportowanie pogody i sportu.
- Wybierać i organizować źródłowe treści, planować zdania i przygotowywać system do automatycznego generowania oryginalnej treści.
- Rozumieć rurociąg NLG i zastosować odpowiednie techniki na każdym etapie.
- Rozumieć architekturę systemu Natural Language Generation (NLG).
- Wdrażać najbardziej odpowiednie algorytmy i modele do analizy i sortowania.
- Pobierać dane z publicznie dostępnych źródeł danych oraz z baz danych, by używać ich jako materiałów do generowanego tekstu.
- Zastępować ręczne i pracochłonne procesy pisania komputerowo generowaną automatyczną kreacją treści.
Unit Testing with Python
21 godzinW tym prowadzonym przez instruktora szkoleniu na żywo w Polsce uczestnicy dowiedzą się, jak używać PyTest do pisania krótkich, łatwych w utrzymaniu testów, które są eleganckie, wyraziste i czytelne;
Po zakończeniu tego szkolenia uczestnicy będą w stanie
- Tworzenie czytelnych i łatwych w utrzymaniu testów bez potrzeby stosowania kodu standardowego.
- Używaj modelu utrwalania do pisania małych testów.
- Skaluj testy do złożonych testów funkcjonalnych dla aplikacji, pakietów i bibliotek.
- Zrozumienie i zastosowanie funkcji PyTest, takich jak haki, przepisywanie asercji i wtyczki.
- Skrócenie czasu testowania poprzez równoległe uruchamianie testów na wielu procesorach.
- Uruchom testy w środowisku ciągłej integracji, wraz z innymi narzędziami, takimi jak tox, mock, coverage, unittest, doctest i Selenium.
- Używaj Pythona do testowania aplikacji innych niż Python.
Developing APIs with Python and FastAPI
14 godzinSzkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla programistów, którzy chcą używać FastAPI z Python do łatwiejszego i szybszego tworzenia, testowania i wdrażania interfejsów API RESTful.
Po zakończeniu tego szkolenia uczestnicy będą w stanie
- Skonfigurować niezbędne środowisko programistyczne do tworzenia API z wykorzystaniem Python i FastAPI.
- Tworzyć API szybciej i łatwiej, korzystając z biblioteki FastAPI.
- Nauczyć się tworzyć modele danych i schematy oparte na Pydantic i OpenAPI.
- Połączyć API z bazą danych za pomocą SQLAlchemy.
- Zaimplementować zabezpieczenia i uwierzytelnianie w API, korzystając z narzędzi FastAPI.
- Budować obrazy kontenerów i wdrażać API internetowe na serwerze chmurowym.
Scaling Data Analysis with Python and Dask
14 godzinSzkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla analityków danych i inżynierów oprogramowania, którzy chcą używać Dask z ekosystemem Python do tworzenia, skalowania i analizowania dużych zbiorów danych.
Po zakończeniu tego szkolenia uczestnicy będą w stanie
- Skonfiguruj środowisko, aby rozpocząć przetwarzanie dużych zbiorów danych za pomocą Dask i Pythona.
- Zapoznanie się z funkcjami, bibliotekami, narzędziami i interfejsami API dostępnymi w Dask.
- Zrozumienie, w jaki sposób Dask przyspiesza obliczenia równoległe w Pythonie.
- Dowiedz się, jak skalować ekosystem Pythona (Numpy, SciPy i Pandas) przy użyciu Dask.
- Optymalizacja środowiska Dask w celu utrzymania wysokiej wydajności w obsłudze dużych zbiorów danych.
Accelerating Python Pandas Workflows with Modin
14 godzinTo prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla naukowców zajmujących się danymi i programistów, którzy chcą używać Modin do tworzenia i wdrażania równoległych obliczeń z Pandas w celu szybszej analizy danych.
Pod koniec tego szkolenia uczestnicy będą w stanie
- Skonfigurować niezbędne środowisko, aby rozpocząć opracowywanie Pandas przepływów pracy na dużą skalę z Modin.
- Zrozumieć funkcje, architekturę i zalety Modin.
- Znać różnice między Modin, Dask i Ray.
- Szybsze wykonywanie operacji Pandas za pomocą Modin.
- Wdrożenie całego interfejsu API i funkcji Pandas.
FARM (FastAPI, React, and MongoDB) Full Stack Development
14 godzinSzkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla programistów, którzy chcą korzystać ze stosu FARM (FastAPI, React i MongoDB) do tworzenia dynamicznych, wydajnych i skalowalnych aplikacji internetowych.
Po zakończeniu tego szkolenia uczestnicy będą w stanie
-
Skonfigurowanie niezbędnego środowiska programistycznego, które integruje FastAPI, React i MongoDB.
Zrozumienie kluczowych pojęć, funkcji i zalet stosu FARM.
Dowiedz się, jak tworzyć interfejsy API REST za pomocą FastAPI.
Dowiedz się, jak projektować interaktywne aplikacje za pomocą React.
Rozwijaj, testuj i wdrażaj aplikacje (front-end i back-end) przy użyciu stosu FARM.