icon icon

Kurs Python i Snowflake – Data Engineering w chmurze: od zapytań do automatyzacji

icon

Proces szkoleniowy

Analiza potrzeb szkoleniowych

Jeśli masz życzenie dotyczące programu szkolenia, przeprowadzimy dla Ciebie analizę potrzeb szkoleniowych, która będzie wskazówką dla nas, na jakie aspekty programu położyć większy nacisk – tak, by program szkolenia spełniał konkretne potrzeby.

Co zyskujesz?

icon

Praca ze Snowflake w chmurze - Nauczysz się samodzielnie poruszać po środowisku Snowflake, rozumieć jego architekturę i świadomie korzystać z warstw storage oraz compute przy codziennej pracy z danymi.

icon

Budowa struktur danych - Przećwiczysz tworzenie schematów, tabel i widoków oraz ładowanie plików CSV, JSON i Parquet, dzięki czemu przygotujesz kompletne środowisko danych do analiz i integracji.

icon

Lepsze zapytania SQL - Opanujesz pisanie zapytań z JOIN, CTE, subqueries i agregacjami oraz poznasz time travel, fail-safe i mechanizmy optymalizacji, aby szybciej analizować i odzyskiwać dane.

icon

Połączenie Pythona ze Snowflake - Skonfigurujesz połączenie z Snowflake w Pythonie, poznasz różne metody uwierzytelniania i nauczysz się bezpiecznie otwierać oraz zamykać sesje w swoich skryptach i aplikacjach.

icon

Obsługa danych z poziomu Pythona - Nauczysz się wysyłać zapytania SQL z kodu, pobierać wyniki do pandas.DataFrame i parametryzować polecenia, aby wygodnie łączyć logikę programistyczną z pracą na danych.

icon

Analityka i raportowanie - Przeanalizujesz dane pobrane ze Snowflake przy użyciu pandas, numpy, matplotlib i seaborn, a następnie przygotujesz raporty oraz eksporty do CSV lub Excela dla odbiorców biznesowych.

icon

Automatyzacja pipeline'ów - Zbudujesz proste procesy ETL w Pythonie, poznasz opcje harmonogramowania zadań i zobaczysz, jak wdrożyć logowanie, obsługę błędów oraz alerty w codziennych procesach danych.

icon

Bezpieczne wdrożenia danych - Dowiesz się, jak zarządzać rolami, poświadczeniami i politykami dostępu oraz jak prowadzić audyt aktywności, aby ograniczać ryzyko błędów i lepiej chronić dane w projektach.

Program szkolenia

1. Wprowadzenie do platformy Snowflake

  • architektura i podstawowe pojęcia (warstwa danych, compute, storage),
  • modele przechowywania danych: shared data architecture,
  • różnice między Snowflake a tradycyjnymi bazami danych,
  • interfejsy dostępu: Snowflake Web UI, SQL, API.

2. Tworzenie i zarządzanie bazami danych w Snowflake

  • tworzenie schematów, tabel, widoków,
  • ładowanie danych (CSV, JSON, Parquet itp.),
  • przegląd narzędzi: SnowSQL, Snowsight,
  • zarządzanie dostępem i bezpieczeństwo danych (role, użytkownicy, polityki).

3. Przetwarzanie danych i optymalizacja zapytań

  • pisanie zapytań SQL w Snowflake (JOIN, CTE, subqueries, agregacje),
  • Time travel i fail-safe – zarządzanie wersjonowaniem danych,
  • optymalizacja zapytań: clustering, partitioning, caching.

4. Wprowadzenie do integracji Snowflake z Pythonem

  • wymagania środowiskowe: instalacja snowflake-connector-python,
  • uwierzytelnianie i nawiązywanie połączenia z Snowflake (login/password, OAuth, tokeny),
  • tworzenie i zamykanie sesji połączeniowych w Pythonie.

5. Operacje na danych w Snowflake za pomocą Pythona

  • wysyłanie zapytań SQL z poziomu Pythona,
  • pobieranie wyników zapytań do struktur danych (np. pandas.DataFrame),
  • parametryzowanie zapytań SQL (np. dynamiczne WHERE, LIMIT).

6. Przetwarzanie danych i analityka w Pythonie

  • analiza danych pobranych ze Snowflake w Pythonie,
  • przykłady użycia pandas, numpy, matplotlib, seaborn,
  • tworzenie raportów lub eksport danych do Excela / CSV.

7. Automatyzacja procesów

  • budowa prostych pipeline’ów ETL w Pythonie,
  • harmonogramowanie zadań (np. cron, Airflow, Prefect, Dagster – przegląd możliwości),
  • obsługa błędów, logowanie i alertowanie.

8. Zaawansowane możliwości integracyjne

  • wykorzystanie frameworków jak SQLAlchemy do pracy z ORM,
  • praca z zewnętrznymi API i przesyłanie danych do Snowflake,
  • integracja z usługami chmurowymi (AWS S3, Azure Blob Storage, GCP).

9. Best practices i bezpieczeństwo

  • bezpieczne zarządzanie poświadczeniami i kluczami,
  • ograniczanie dostępu do danych na poziomie kodu,
  • audyt, logowanie aktywności użytkowników i aplikacji.

Jakie są wymagania wstępne do udziału w szkoleniu?

icon

Podstawy SQL - Powinieneś swobodnie pisać proste zapytania SQL, używać SELECT, WHERE, JOIN i GROUP BY oraz rozumieć, jak działa praca na tabelach i relacjach między danymi.

icon

Podstawy Pythona - Powinieneś znać składnię Pythona, pracę ze zmiennymi, funkcjami, pętlami i bibliotekami oraz umieć uruchomić prosty skrypt i odczytać wynik jego działania.

icon

Praca z danymi - Powinieneś rozumieć, czym są tabele, rekordy, kolumny i formaty plików danych, takich jak CSV czy JSON, aby sprawnie odnaleźć się w zadaniach importu i analizy.

icon

Środowisko programistyczne - Powinieneś umieć zainstalować pakiet w Pythonie, uruchomić terminal lub edytor kodu i pracować na własnym komputerze, aby samodzielnie wykonywać ćwiczenia praktyczne.