Kurs Web Scraping i API w Python

1. Wprowadzenie do HTTP i działania sieci

• model klient–serwer,
• metody HTTP (GET, POST, PUT, DELETE),
• nagłówki, statusy odpowiedzi,
• struktura zapytania i odpowiedzi HTTP,
• narzędzia do analizy ruchu (DevTools).

2. Podstawy web scrapingu

• czym jest web scraping i kiedy go stosować,
• struktura HTML i DOM,
• identyfikacja elementów na stronie (selektory CSS, XPath),
• ograniczenia i dobre praktyki (robots.txt, rate limiting).

3. Web scraping z użyciem requests i BeautifulSoup

• pobieranie stron HTTP (requests),
• parsowanie HTML (BeautifulSoup),
• ekstrakcja danych z dokumentów,
• obsługa paginacji i wielu podstron,
• zapisywanie danych (CSV, JSON).

4. Komunikacja z API

• czym jest API i jak działa,
• typy API (REST),
• autoryzacja (API key, token),
• wysyłanie zapytań i odbieranie odpowiedzi,
• praca z JSON,
• obsługa błędów i limitów zapytań.

5. Praktyczne wykorzystanie API

• integracja z zewnętrznymi serwisami,
• pobieranie i przetwarzanie danych,
• łączenie danych z różnych źródeł,
• automatyzacja procesów z użyciem API.

6. Selenium – automatyzacja i scraping dynamicznych stron

• wprowadzenie do Selenium,
• sterowanie przeglądarką,
• interakcja z elementami strony (kliknięcia, formularze),
• pobieranie danych z dynamicznych stron (JavaScript),
• obsługa logowania i sesji,
• headless browser i automatyzacja zadań.

7. Dobre praktyki i optymalizacja

• stabilność skryptów,
• unikanie blokad i wykrywania botów,
• zarządzanie czasem i wydajnością,
• strukturyzacja kodu i ponowne użycie.

8. Zastosowania biznesowe

• monitoring cen i konkurencji,
• agregacja danych rynkowych,
• automatyzacja raportowania,
• integracje systemów i źródeł danych.