1. Wprowadzenie do Power Query
W kontekście ETL Power Query pełni rolę warstwy przygotowania danych przed analizą i raportowaniem. Na początku uczestnicy porównają jego możliwości w Excelu i Power BI, poznają edytor zapytań, Applied Steps i podgląd danych oraz zasady projektowania zapytań pod dalsze wykorzystanie.
- rola Power Query w procesie przygotowania danych (ETL),
- Power Query w Excelu vs Power BI – zakres możliwości,
- interfejs: edytor zapytań, Applied Steps, podgląd danych,
- zasady projektowania zapytań pod późniejsze raportowanie.
2. Źródła danych i import
Power Query pracuje z plikami, folderami, bazami danych i źródłami online, dlatego sposób importu trzeba dopasować do rodzaju połączenia. Sekcja obejmuje wczytywanie danych z Excel, CSV, TXT, JSON i XML, konsolidację plików oraz ustawienia poświadczeń i prywatności.
- import z plików: Excel, CSV, TXT, JSON, XML,
- import z folderu – konsolidacja wielu plików,
- połączenia do baz danych i źródeł online,
- ustawienia połączeń, poświadczenia, prywatność danych.
3. Czyszczenie i przygotowanie danych
Surowe dane często zawierają zbędne wiersze, techniczne nagłówki, stopki oraz niespójne typy pól, które utrudniają analizę. W tej sekcji nacisk położono na porządkowanie struktury, ujednolicanie dat, liczb i tekstu oraz usuwanie duplikatów, pustych wartości i rozbieżności słownikowych.
- usuwanie zbędnych kolumn i wierszy,
- praca z nagłówkami, wierszami technicznymi, stopkami,
- ujednolicanie typów danych (daty, liczby, tekst),
- usuwanie duplikatów i wartości pustych,
- standaryzacja nazw kolumn i wartości słownikowych.
4. Transformacje danych
Operacje na kolumnach stanowią podstawę dalszego modelowania danych w Power Query. Uczestnicy wykonają dzielenie i łączenie pól, wyodrębnianie tekstu, pivot i unpivot, grupowanie z agregacjami oraz filtrowanie, sortowanie, kolumny obliczeniowe, reguły logiczne i mapowanie wartości.
- operacje na kolumnach: dzielenie, łączenie, wyodrębnianie fragmentów tekstu,
- zmiana formatu danych: pivot i unpivot,
- grupowanie i agregacje (Group By),
- filtrowanie, sortowanie, tworzenie kolumn obliczeniowych,
- warunki logiczne i reguły transformacji danych,
- zastępowanie wartości i mapowanie kategorii.
5. Scalanie i dołączanie danych
Łączenie danych z wielu tabel wymaga zarówno właściwego doboru typu połączenia, jak i poprawnego przygotowania struktur źródłowych. Omówione zostaną Merge z joinami left, right, inner i full, Append dla dołączania zbiorów oraz obsługa braków dopasowań i konfliktów danych.
- Merge – łączenie tabel (joiny: left, right, inner, full),
- Append – dokładanie danych (union) z wielu źródeł,
- obsługa brakujących dopasowań i konfliktów danych,
- przygotowanie struktur danych do poprawnego łączenia.
6. Automatyzacja i skalowalność rozwiązań
Przygotowanie zapytań do cyklicznego raportowania wymaga uwzględnienia zmian w danych i sposobie ich dostarczania. Ta część obejmuje odświeżanie ręczne i automatyczne, parametry zapytań, pracę na dynamicznych folderach oraz obsługę zmieniającej się struktury plików.
- odświeżanie danych – ręczne i automatyczne,
- praca na dynamicznych folderach i zmieniającej się strukturze plików,
- parametry zapytań (np. zakres dat, lokalizacja plików),
- przygotowanie zapytań pod cykliczne raportowanie.
7. Wydajność i stabilność zapytań
Problemy z długim odświeżaniem zwykle wynikają z kolejności kroków, zbyt dużego wolumenu danych lub nieoptymalnej konstrukcji zapytania. Uczestnicy przećwiczą ograniczanie danych już przy imporcie, diagnostykę wąskich gardeł i typowe błędy wpływające na stabilność odświeżania.
- kolejność kroków a czas odświeżania,
- ograniczanie wolumenów danych już na etapie importu,
- diagnostyka wolnych zapytań,
- najczęstsze problemy przy odświeżaniu danych.
8. Język M w Power Query – kontekst praktyczny
Język M jest pokazany jako mechanizm stojący za kolejnymi krokami zapytania, a nie jako osobny temat programistyczny. Sekcja wyjaśnia składnię let/in, zasady czytelnego zapisu oraz miejsca, w których kod M pojawia się w Power Query i może być świadomie modyfikowany.
- składnia języka M: let/in, kroki, czytelność kodu,
- gdzie w Power Query pojawia się kod M i jak go świadomie modyfikować,
- proste przykłady edycji M dla nietypowych transformacji.