Kurs Python i Snowflake – Data Engineering w chmurze: od zapytań do automatyzacji

1. Wprowadzenie do platformy Snowflake

• architektura i podstawowe pojęcia (warstwa danych, compute, storage),
• modele przechowywania danych: shared data architecture,
• różnice między Snowflake a tradycyjnymi bazami danych,
• interfejsy dostępu: Snowflake Web UI, SQL, API.

2. Tworzenie i zarządzanie bazami danych w Snowflake

• tworzenie schematów, tabel, widoków,
• ładowanie danych (CSV, JSON, Parquet itp.),
• przegląd narzędzi: SnowSQL, Snowsight,
• zarządzanie dostępem i bezpieczeństwo danych (role, użytkownicy, polityki).

3. Przetwarzanie danych i optymalizacja zapytań

• pisanie zapytań SQL w Snowflake (JOIN, CTE, subqueries, agregacje),
• Time travel i fail-safe – zarządzanie wersjonowaniem danych,
• optymalizacja zapytań: clustering, partitioning, caching.

4. Wprowadzenie do integracji Snowflake z Pythonem

• wymagania środowiskowe: instalacja snowflake-connector-python,
• uwierzytelnianie i nawiązywanie połączenia z Snowflake (login/password, OAuth, tokeny),
• tworzenie i zamykanie sesji połączeniowych w Pythonie.

5. Operacje na danych w Snowflake za pomocą Pythona

• wysyłanie zapytań SQL z poziomu Pythona,
• pobieranie wyników zapytań do struktur danych (np. pandas.DataFrame),
• parametryzowanie zapytań SQL (np. dynamiczne WHERE, LIMIT).

6. Przetwarzanie danych i analityka w Pythonie

• analiza danych pobranych ze Snowflake w Pythonie,
• przykłady użycia pandas, numpy, matplotlib, seaborn,
• tworzenie raportów lub eksport danych do Excela / CSV.

7. Automatyzacja procesów

• budowa prostych pipeline’ów ETL w Pythonie,
• harmonogramowanie zadań (np. cron, Airflow, Prefect, Dagster – przegląd możliwości),
• obsługa błędów, logowanie i alertowanie.

8. Zaawansowane możliwości integracyjne

• wykorzystanie frameworków jak SQLAlchemy do pracy z ORM,
• praca z zewnętrznymi API i przesyłanie danych do Snowflake,
• integracja z usługami chmurowymi (AWS S3, Azure Blob Storage, GCP).

9. Best practices i bezpieczeństwo

• bezpieczne zarządzanie poświadczeniami i kluczami,
• ograniczanie dostępu do danych na poziomie kodu,
• audyt, logowanie aktywności użytkowników i aplikacji.