Power Query krok po kroku – jak automatyzować import i czyszczenie danych w Excelu i Power BI?
Dowiedz się, jak krok po kroku automatyzować import i czyszczenie danych w Excelu i Power BI z użyciem Power Query.
Artykuł przeznaczony dla użytkowników Excela i Power BI (od początkujących do średnio zaawansowanych), w szczególności analityków danych, finansistów i osób przygotowujących raporty, którzy chcą automatyzować pracę z danymi w Power Query.
Z tego artykułu dowiesz się
- Czym jest Power Query i jaką rolę pełni w Excelu oraz Power BI?
- Jak importować dane z różnych źródeł i jakie typy źródeł są najczęściej wykorzystywane?
- Jak czyścić, łączyć i automatyzować przekształcanie danych (duplikaty, filtry, typy danych, merge/append, odświeżanie)?
Wprowadzenie do Power Query
Power Query to zaawansowane, a jednocześnie intuicyjne narzędzie do przekształcania i automatyzacji pracy z danymi, dostępne zarówno w programie Excel, jak i Power BI. Umożliwia użytkownikom szybkie i efektywne importowanie danych z różnych źródeł, ich czyszczenie, przekształcanie oraz przygotowanie do dalszej analizy – bez konieczności ręcznego przetwarzania czy pisania skomplikowanego kodu.
Jedną z największych zalet Power Query jest możliwość tworzenia tzw. przepływów – czyli zestawów kroków, które można wielokrotnie wykorzystywać i automatyzować proces aktualizacji danych. Raz przygotowany proces importu i przekształcania danych może być uruchamiany ponownie jednym kliknięciem, co znacząco skraca czas pracy i minimalizuje ryzyko błędów.
W środowisku Excela Power Query sprawdza się doskonale jako narzędzie wspomagające pracę z dużymi zestawami danych, raportami czy analizami finansowymi. W Power BI natomiast stanowi fundament tworzenia modeli danych, które napędzają interaktywne raporty i dashboardy.
Power Query jest przyjazny zarówno dla początkujących, jak i bardziej zaawansowanych użytkowników. Interfejs oparty na menu wstążki pozwala korzystać z gotowych funkcji bez potrzeby programowania, natomiast dla bardziej wymagających dostępny jest edytor zaawansowanych zapytań oparty na języku M.
Dzięki Power Query użytkownicy mogą:
- importować dane z wielu różnych źródeł, takich jak pliki Excel, CSV, bazy danych czy strony internetowe,
- czyścić dane z błędów, duplikatów i niepotrzebnych informacji,
- przekształcać dane do pożądanej struktury i formatu,
- łączyć dane z wielu źródeł w jeden spójny zbiór,
- zautomatyzować cały proces przygotowania danych do analizy.
Power Query to narzędzie, które znacząco podnosi efektywność pracy z danymi i pozwala skupić się na analizie, a nie na ręcznym przetwarzaniu informacji. Dzięki temu staje się nieocenionym wsparciem dla każdego analityka, finansisty czy specjalisty ds. raportowania.
Podstawy interfejsu użytkownika Power Query w Excelu i Power BI
Power Query oferuje intuicyjny interfejs graficzny, który umożliwia użytkownikom łatwe ładowanie, przekształcanie i łączenie danych bez konieczności programowania. Choć interfejs wygląda podobnie w Excelu i Power BI, istnieją drobne różnice wynikające z charakterystyki obu narzędzi. W Cognity często spotykamy się z pytaniami na ten temat podczas szkoleń, dlatego postanowiliśmy przybliżyć go również na blogu.
W Excelu Power Query jest zintegrowany z zakładką Dane, skąd użytkownik może rozpocząć import i edycję danych. Po załadowaniu danych otwiera się edytor Power Query – osobne okno umożliwiające wykonywanie kolejnych kroków przekształceń.
W Power BI dostęp do Power Query odbywa się przez przycisk Transformuj dane, znajdujący się na pasku narzędzi głównych. Po jego kliknięciu również otwierany jest edytor zapytań, który wygląda niemal identycznie jak w Excelu, ale jest zoptymalizowany pod kątem pracy z większymi zbiorami danych i modelami raportowymi.
Główne elementy interfejsu edytora Power Query to:
- Okienko zapytań – lista wszystkich załadowanych źródeł danych i ich przekształceń.
- Wstążka poleceń – grupy funkcji i narzędzi do transformacji, sortowania, filtrowania i łączenia danych.
- Podgląd danych – centralna część, w której wyświetlany jest zestaw danych wraz z zastosowanymi zmianami.
- Okienko kroków zastosowanych – lista operacji wykonanych na danych, pozwalająca łatwo prześledzić i modyfikować historię transformacji.
Choć zarówno w Excelu, jak i Power BI interfejs Power Query zapewnia te same podstawowe funkcjonalności, Power BI daje nieco większe możliwości w zakresie modelowania danych i ich integracji z innymi komponentami raportu. W obu przypadkach jednak celem jest uproszczenie procesu przygotowywania danych do analizy.
Importowanie danych z różnych źródeł
Jedną z największych zalet Power Query jest jego elastyczność w zakresie pobierania danych z wielu typów źródeł. Niezależnie od tego, czy pracujesz w Excelu, czy w Power BI, możesz łatwo połączyć się z plikami, bazami danych, usługami w chmurze czy interfejsami API. W tej sekcji przyjrzymy się podstawowym typom źródeł danych oraz ich typowym zastosowaniom.
Główne typy źródeł danych
- Pliki lokalne – takie jak Excel, CSV, TXT, XML czy JSON. Są najczęściej wykorzystywane w codziennej pracy i idealne do analizy danych przechowywanych lokalnie lub na dyskach sieciowych.
- Bazy danych – m.in. SQL Server, Oracle, MySQL, PostgreSQL. Umożliwiają pracę z dużymi zbiorami danych przechowywanymi w systemach relacyjnych.
- Usługi online – np. SharePoint, Dynamics 365, Google Analytics, Azure Blob Storage. Pozwalają na integrację z danymi w chmurze bez potrzeby ich lokalnego pobierania.
- Interfejsy API i źródła Web – umożliwiają dostęp do danych pobieranych dynamicznie z internetu, np. z plików JSON udostępnionych online czy z publicznych API.
- Inne źródła – takie jak foldery (pozwalające na konsolidację wielu plików), Microsoft Exchange, Active Directory czy OData Feed.
Porównanie wybranych źródeł
| Typ źródła | Przykłady | Typowe zastosowania |
|---|---|---|
| Pliki lokalne | Excel, CSV, TXT | Szybka analiza danych z raportów i zestawień |
| Bazy danych | SQL Server, MySQL | Praca z dużymi i aktualizowanymi zbiorami danych |
| Usługi online | SharePoint, Google Analytics | Dane z systemów chmurowych i analitycznych |
| API i Web | REST API, JSON z adresu URL | Integracja z danymi z internetu i aplikacji online |
Przykład podstawowego połączenia z plikiem CSV
let
Źródło = Csv.Document(File.Contents("C:\\Dane\\sprzedaż.csv"), [Delimiter=",", Encoding=65001, QuoteStyle=QuoteStyle.None]),
Przekształcone = Table.PromoteHeaders(Źródło, [PromoteAllScalars=true])
in
Przekształcone
Powyższy kod M pokazuje przykładowy sposób wczytania pliku CSV i zamiany jego pierwszego wiersza na nagłówki kolumn.
Dobór odpowiedniego źródła zależy od miejsca przechowywania danych oraz potrzeb użytkownika – Power Query daje szerokie możliwości łączenia danych z różnych środowisk w sposób szybki i powtarzalny. Jeśli chcesz pogłębić swoją wiedzę i nauczyć się optymalnie wykorzystywać Power Query w praktyce, sprawdź nasz Kurs Microsoft Power Query - analiza danych przy użyciu języka M i optymalizacja procesu analizy danych.
Czyszczenie danych: usuwanie duplikatów, filtrowanie i zmiana typów danych
Jednym z kluczowych etapów przygotowywania danych do analizy jest ich czyszczenie. Power Query oferuje intuicyjne narzędzia do wykonywania najczęstszych operacji porządkujących, co pozwala znacząco zredukować błędy i zwiększyć jakość źródłowych informacji. W tej sekcji przyjrzymy się trzem podstawowym technikom: usuwaniu duplikatów, filtrowaniu oraz zmianie typów danych. W czasie szkoleń Cognity ten temat bardzo często budzi ożywione dyskusje między uczestnikami.
Usuwanie duplikatów
Duplikaty mogą zakłócić analizę i prowadzić do błędnych wniosków. W Power Query można łatwo usunąć zduplikowane wiersze na podstawie jednej lub wielu kolumn. Wystarczy zaznaczyć odpowiednie kolumny, kliknąć prawym przyciskiem myszy i wybrać opcję Usuń duplikaty.
| Przykład danych wejściowych | Po usunięciu duplikatów |
|---|---|
| Jan, 100 Anna, 200 Jan, 100 |
Jan, 100 Anna, 200 |
Filtrowanie danych
Filtrowanie pozwala ograniczyć zestaw danych do interesujących nas wartości. W Power Query można filtrować dane liczbowo, tekstowo lub według dat. Filtry są dostępne bezpośrednio z poziomu nagłówków kolumn i wspierają zarówno proste operacje (np. „większe niż 100”), jak i bardziej złożone (np. „zawiera słowo 'produkt'”).
// Przykład prostego filtra w języku M
= Table.SelectRows(Dane, each [Wartość] > 100)
Zmiana typów danych
Niepoprawnie rozpoznane typy danych mogą uniemożliwić późniejsze obliczenia i sortowanie. Power Query automatycznie przypisuje typy podczas importu, ale warto je ręcznie sprawdzić i poprawić. Zmiana typu odbywa się poprzez rozwinięcie menu kolumny i wybór odpowiedniego typu, np. liczba całkowita, tekst, data.
| Kolumna | Typ domyślny | Poprawiony typ |
|---|---|---|
| "01.01.2024" | Tekst | Data |
| "1000" | Tekst | Liczba całkowita |
Te trzy operacje są fundamentem skutecznego czyszczenia danych w Power Query i znacząco wpływają na jakość końcowych analiz. W kolejnych krokach można je dowolnie łączyć, tworząc pełne przepływy transformacji danych.
Łączenie i przekształcanie danych z wielu źródeł
Jedną z najpotężniejszych funkcji Power Query jest możliwość łączenia danych pochodzących z różnych źródeł oraz ich przekształcania w jednolity i użyteczny zestaw danych. Dzięki temu użytkownicy mogą integrować informacje z wielu plików Excel, baz danych, serwisów online czy raportów systemowych, tworząc spójne raporty i analizy.
Power Query oferuje dwie główne operacje związane z łączeniem danych:
- Scalanie (Merge): Łączenie tabel poziomo, na podstawie jednej lub więcej kolumn wspólnych (podobnie jak JOIN w SQL).
- Dołączanie (Append): Łączenie tabel pionowo, czyli dodawanie wierszy z jednej tabeli do drugiej, gdy mają zgodną strukturę kolumn.
Poniższa tabela zestawia różnice między tymi dwoma typami operacji:
| Rodzaj operacji | Cel | Wymagania | Przykład użycia |
|---|---|---|---|
| Scalanie (Merge) | Połączenie dodatkowych informacji do istniejącej tabeli | Kolumny kluczy muszą istnieć w obu tabelach | Połączenie danych klientów z ich zamówieniami |
| Dołączanie (Append) | Zsumowanie danych o tej samej strukturze | Kolumny muszą mieć te same nazwy i typy | Zbiorcze zestawienie zamówień z wielu miesięcy |
Po połączeniu danych, Power Query umożliwia ich dalsze przekształcenia, takie jak:
- Usuwanie lub zmienianie kolumn,
- Tworzenie kolumn warunkowych,
- Agregowanie danych (np. sumowanie, grupowanie),
- Rozwijanie zagnieżdżonych tabel.
Przykładowy fragment kodu M w Power Query, umożliwiający scalanie dwóch tabel według wspólnego identyfikatora:
let
Zamówienia = Excel.CurrentWorkbook(){[Name="Zamówienia"]}[Content],
Klienci = Excel.CurrentWorkbook(){[Name="Klienci"]}[Content],
ScalonaTabela = Table.NestedJoin(Zamówienia, {"ID_Klienta"}, Klienci, {"ID_Klienta"}, "DaneKlienta", JoinKind.LeftOuter),
Rozwinięte = Table.ExpandTableColumn(ScalonaTabela, "DaneKlienta", {"Nazwa", "Miasto"})
in
Rozwinięte
Łączenie danych z wielu źródeł jest kluczowe dla analizy, gdyż pozwala zintegrować rozproszone informacje w jednym, dynamicznym modelu danych. W praktyce umożliwia to budowę raportów, które automatycznie reagują na zmiany w źródłach bez konieczności ręcznej aktualizacji. Jeśli chcesz pogłębić wiedzę i nauczyć się efektywnie wykorzystywać Power Query w praktyce, sprawdź Kurs Microsoft Excel Business Intelligence zaawansowany - praca z dodatkami PowerPivot, Power Query, Power Map, Power BI.
Tworzenie automatycznych przepływów danych
Jedną z największych zalet Power Query jest możliwość budowania zautomatyzowanych przepływów przekształcania danych, które można wielokrotnie wykorzystywać bez konieczności ręcznego powtarzania tych samych czynności. Dzięki temu znacząco oszczędzamy czas i minimalizujemy ryzyko błędów przy pracy z dużymi wolumenami danych.
Automatyzacja w Power Query opiera się na koncepcji kroków przekształcania, które są zapisywane w tle w języku M. Po jednorazowym zdefiniowaniu sekwencji operacji, Power Query może je ponownie wykonać za każdym razem, gdy dane zostaną odświeżone – niezależnie od źródła.
Typowy przepływ automatycznego przetwarzania danych może obejmować:
- automatyczny import z pliku CSV, folderu lub bazy danych,
- czyszczenie danych: usuwanie pustych wierszy, konwersje typów, filtrowanie,
- łączenie danych z różnych źródeł (np. przez dołączanie lub scalanie tabel),
- przekształcenia kolumn (np. dzielenie, przestawianie, agregowanie),
- przygotowanie danych do analizy w Excelu lub modelu Power BI.
W praktyce wystarczy kliknąć przycisk Odśwież, aby Power Query automatycznie pobrał najnowsze dane, przetworzył je zgodnie z zapisanym schematem i zaktualizował zestaw wynikowy.
Poniższa tabela przedstawia porównanie dwóch podejść do przetwarzania danych:
| Ręczne przetwarzanie | Automatyzacja z Power Query |
|---|---|
| Każdorazowe wykonywanie tych samych operacji | Jednorazowe zaprogramowanie transformacji |
| Podatność na błędy podczas kopiowania/przygotowania | Spójność i powtarzalność wyników |
| Duża czasochłonność | Znaczna oszczędność czasu przy aktualizacjach |
| Brak elastyczności przy zmiennych źródłach danych | Łatwa adaptacja do nowych danych i schematów |
Przykładowy prosty kod w języku M, który automatyzuje import i filtrowanie danych z pliku Excel:
let
Źródło = Excel.Workbook(File.Contents("C:\\Dane\\sprzedaż.xlsx"), null, true),
Tabela1 = Źródło{[Name="Tabela1"]}[Content],
Filtrowane = Table.SelectRows(Tabela1, each [Region] = "Mazowieckie")
in
Filtrowane
Dzięki takiemu podejściu, każdorazowe wczytanie nowej wersji pliku sprzedaż.xlsx automatycznie przefiltruje dane do interesującego nas regionu – bez konieczności ręcznego działania użytkownika.
Zastosowania Power Query w codziennej pracy analityka danych
Power Query to potężne narzędzie, które znacząco ułatwia i przyspiesza pracę analityków danych zarówno w Excelu, jak i Power BI. Pozwala ono na automatyzację wielu czasochłonnych czynności związanych z przygotowaniem danych do analizy, dzięki czemu użytkownik może skoncentrować się na interpretacji wyników, a nie na ręcznym przetwarzaniu informacji.
W codziennej praktyce analitycznej Power Query znajduje zastosowanie w wielu obszarach:
- Zbieranie danych z różnych źródeł: umożliwia szybki import danych z plików Excel, CSV, baz danych, folderów, stron internetowych i API.
- Porządkowanie danych: pozwala na scalanie kolumn, usuwanie duplikatów, zmianę formatów danych oraz inne operacje na danych bez konieczności pisania kodu.
- Automatyzacja raportowania: dzięki zapisanym zapytaniom można za pomocą kilku kliknięć odświeżać dane i tworzyć aktualne raporty bez ręcznego przetwarzania informacji.
- Przygotowywanie danych do wizualizacji: Power Query jest podstawowym narzędziem do przekształcania surowych danych w strukturę odpowiednią do dalszej analizy w Power BI lub tabelach przestawnych w Excelu.
- Ułatwienie współpracy zespołowej: spójne i powtarzalne procesy transformacji danych pozwalają zespołom pracować na jednolitych zestawach danych, co redukuje ryzyko błędów.
Dzięki Power Query analityk może w prosty sposób zautomatyzować wiele zadań, które wcześniej wymagały skomplikowanych formuł lub ręcznej pracy. To narzędzie staje się nieodzownym elementem codziennego warsztatu pracy każdej osoby zajmującej się analizą danych, niezależnie od branży czy poziomu zaawansowania.
Wprowadzenie do Power Query
Power Query to potężne narzędzie do przekształcania i automatyzacji pracy z danymi, dostępne zarówno w Microsoft Excel, jak i Power BI. Jego główną zaletą jest możliwość pobierania danych z różnych źródeł, ich czyszczenia, łączenia i przekształcania — wszystko to bez potrzeby pisania kodu.
Dzięki Power Query użytkownicy mogą budować elastyczne przepływy danych, które automatycznie aktualizują się po każdej zmianie w źródle danych. To sprawia, że narzędzie jest niezwykle przydatne w codziennej pracy analityków, księgowych, kontrolerów finansowych czy specjalistów ds. raportowania.
Power Query jest dostępne zarówno jako zintegrowany komponent w Excelu (począwszy od wersji 2016), jak i jako integralna część Power BI Desktop. Choć interfejsy w obu narzędziach są bardzo podobne, istnieją między nimi pewne różnice funkcjonalne, wynikające z ich odmiennych zastosowań. Excel jest najczęściej wykorzystywany do analizy danych na poziomie użytkownika końcowego, podczas gdy Power BI umożliwia tworzenie bardziej zaawansowanych modeli danych i interaktywnych raportów.
W tej sekcji skupimy się na ogólnym przeglądzie możliwości Power Query oraz jego roli w procesie przygotowania danych. Pozwoli to lepiej zrozumieć, dlaczego warto sięgnąć po to narzędzie w codziennej pracy z danymi. W Cognity łączymy teorię z praktyką – dlatego ten temat rozwijamy także w formie ćwiczeń na szkoleniach.
- Automatyzacja procesów: Power Query pozwala zastąpić ręczne operacje na danych jednorazową konfiguracją kroków, które można wielokrotnie odtwarzać.
- Łatwość użycia: Interfejs oparty na klikaniu i przeciąganiu umożliwia użytkownikom bez zaawansowanej wiedzy technicznej skuteczne przekształcanie danych.
- Elastyczność źródeł danych: Możliwość pobierania danych m.in. z plików Excel, CSV, baz danych, usług internetowych i wielu innych źródeł.
- Spójność i powtarzalność: Raz zapisane kroki przekształcania danych można łatwo odtworzyć i dostosować do nowych danych.
Power Query to nie tylko narzędzie dla zaawansowanych użytkowników — jego intuicyjność i funkcjonalność sprawiają, że jest ono dostępne również dla początkujących, którzy chcą rozpocząć swoją przygodę z automatyzacją analizy danych.