Lepsze rozumienie HTTP - Nauczysz się analizować zapytania i odpowiedzi HTTP, rozpoznawać statusy, nagłówki i strukturę komunikacji, dzięki czemu łatwiej zdiagnozujesz problemy i zbudujesz poprawne integracje.
Sprawne pozyskiwanie danych ze stron - Dowiesz się, jak wyszukiwać elementy w HTML i DOM przy użyciu selektorów CSS oraz XPath, aby szybko wyciągać konkretne dane z podstron, list wyników i serwisów z paginacją.
Scrapery w Pythonie od podstaw - Przećwiczysz pobieranie stron przez requests i parsowanie ich w BeautifulSoup, więc samodzielnie napiszesz skrypty zapisujące dane do CSV i JSON w uporządkowanej formie.
Pewna praca z API - Opanujesz wysyłanie zapytań do API, obsługę JSON, autoryzację kluczem lub tokenem oraz reagowanie na błędy i limity, dzięki czemu bezpiecznie podłączysz zewnętrzne usługi do swoich rozwiązań.
Łączenie danych z wielu źródeł - Nauczysz się pobierać informacje z różnych API i stron, a następnie scalać je w jeden spójny zestaw danych, który wykorzystasz w raportowaniu, analizie lub dalszej automatyzacji procesów.
Automatyzacja dynamicznych stron - Zobaczysz, jak używać Selenium do klikania, wypełniania formularzy, logowania i pobierania treści generowanych przez JavaScript, gdy zwykły scraping statycznego HTML nie wystarcza.
Stabilniejsze i bezpieczniejsze skrypty - Poznasz dobre praktyki dotyczące rate limitingu, robots.txt, wykrywania błędów i ograniczania blokad, dzięki czemu Twoje skrypty będą działać stabilniej i z mniejszym ryzykiem przerwania.
Gotowe zastosowania biznesowe - Przełożysz technikę na praktykę: przygotujesz podstawy do monitoringu cen, agregacji danych rynkowych, automatycznego raportowania i integracji źródeł danych wspierających decyzje biznesowe.
Podstawy działania HTTP wyznaczają sposób pracy zarówno ze stronami WWW, jak i z API. Uczestnicy analizują model klient–serwer, strukturę zapytania i odpowiedzi, metody GET, POST, PUT i DELETE, znaczenie nagłówków oraz statusów, a także użycie DevTools do analizy ruchu.
Zanim powstanie pierwszy skrypt, trzeba rozumieć, czym jest web scraping i kiedy warto go stosować. Sekcja porządkuje podstawy budowy HTML i DOM, wskazuje metody identyfikacji elementów przez selektory CSS i XPath oraz omawia ograniczenia, takie jak robots.txt i rate limiting.
Za pomocą requests i BeautifulSoup można pobierać oraz analizować strony bez uruchamiania pełnej przeglądarki. Ta część obejmuje pobieranie dokumentów HTTP, parsowanie HTML, wyodrębnianie danych, przechodzenie przez paginację i podstrony oraz zapis wyników do CSV lub JSON.
Komunikacja z API opiera się na jasno zdefiniowanych zasadach wymiany danych między aplikacjami. Omawiane są typy API, w tym REST, mechanizmy autoryzacji z użyciem kluczy i tokenów, format JSON oraz sposób obsługi odpowiedzi, błędów i limitów zapytań.
W praktyce API służy do łączenia zewnętrznych serwisów z procesami realizowanymi wewnątrz organizacji. Ujęto tu pobieranie i przetwarzanie danych, zestawianie informacji z różnych źródeł oraz automatyzację działań wykonywanych na podstawie komunikacji z API.
Selenium sprawdza się tam, gdzie treść strony zależy od JavaScriptu i interakcji użytkownika. Sekcja obejmuje sterowanie przeglądarką, pracę z formularzami i kliknięciami, obsługę logowania oraz sesji, a także automatyzację zadań i pobieranie danych w trybie headless.
Stabilne rozwiązanie do pobierania danych wymaga nie tylko poprawnego skryptu. Nacisk położono tu na zwiększanie niezawodności, porządkowanie kodu pod ponowne użycie oraz zarządzanie czasem i wydajnością, z uwzględnieniem sposobów ograniczania blokad i wykrywania botów.
Z perspektywy biznesowej scraping i integracje API wspierają bieżący monitoring cen, obserwację konkurencji oraz agregację danych rynkowych. Ta część pokazuje także, jak zasilać automatyczne raportowanie i łączyć systemy oraz źródła danych w jeden proces informacyjny.
Podstawy Pythona - Powinieneś swobodnie uruchamiać skrypty, korzystać ze zmiennych, instrukcji warunkowych, pętli i funkcji, aby skupić się na pracy z siecią, API i przetwarzaniem danych.
Praca w terminalu i z pakietami - Powinieneś umieć uruchomić terminal, instalować biblioteki przez pip i pracować w prostym środowisku programistycznym, aby bez problemu przygotować kod do ćwiczeń.
Podstawy HTML - Powinieneś rozpoznawać podstawowe elementy strony, takie jak nagłówki, linki, tabele i formularze, żeby łatwiej zrozumieć strukturę dokumentu i wskazywać dane do pobrania.
Logiczne myślenie analityczne - Powinieneś umieć krok po kroku analizować problem i weryfikować wyniki działania skryptu, bo podczas scrapingu i pracy z API często trzeba diagnozować przyczyny błędów.
