Praca z danymi – przygotowanie, oczyszczanie, feature engineering

Wprowadzenie do pracy z danymi w projektach AI/ML

Dane są fundamentem każdego projektu związanego ze sztuczną inteligencją (AI) i uczeniem maszynowym (ML). Bez odpowiednich danych, nawet najbardziej zaawansowane algorytmy nie będą w stanie generować wartościowych prognoz czy decyzji. Efektywna praca z danymi wymaga jednak znacznie więcej niż tylko ich zebrania — to złożony proces, obejmujący szereg kroków prowadzących do stworzenia wiarygodnego i użytecznego zbioru danych.

W pracy nad projektami AI/ML dane pełnią rolę zarówno materiału treningowego, jak i źródła wiedzy o problemie, który model ma rozwiązać. Mogą one pochodzić z różnych źródeł: systemów informatycznych, urządzeń IoT, mediów społecznościowych czy zewnętrznych zbiorów danych. Niezależnie od pochodzenia, ich jakość, struktura i adekwatność do danego zadania mają bezpośredni wpływ na skuteczność i niezawodność stworzonych modeli.

W kontekście AI/ML, praca z danymi obejmuje szerokie spektrum działań, takich jak:

• Zbieranie i integracja danych – pozyskiwanie informacji z różnych źródeł i ich łączenie w spójny zbiór danych.
• Oczyszczanie danych – identyfikacja i korekta błędów, braków oraz nieścisłości.
• Przetwarzanie i transformacja danych – przygotowanie danych do analizy poprzez ich standaryzację, normalizację czy kodowanie.
• Feature engineering – tworzenie nowych cech (feature’ów), które lepiej oddają istotę analizowanego zjawiska i mogą poprawić jakość modelu.

Każdy z tych etapów ma swoje wyzwania i wymaga odpowiedniego podejścia analitycznego, technicznego oraz domenowego. Już na etapie przygotowywania danych podejmowane są decyzje, które później znacząco wpływają na skuteczność modelu predykcyjnego bądź klasyfikacyjnego.

Dlatego solidne zrozumienie procesu pracy z danymi stanowi nieodzowny element skutecznych projektów AI/ML – od prostych analiz predykcyjnych po skomplikowane systemy rekomendacyjne czy modele przetwarzania języka naturalnego.

Zbieranie i integracja danych

Zbieranie i integracja danych to pierwszy etap praktycznej pracy z danymi w projektach opartych na sztucznej inteligencji (AI) i uczeniu maszynowym (ML). Od jakości, kompletności i dostępności danych zależy skuteczność dalszych etapów przetwarzania, a w konsekwencji – trafność i stabilność modeli predykcyjnych. Temat tego artykułu pojawia się w niemal każdej sesji szkoleniowej Cognity – czasem w formie pytania, czasem w formie frustracji.

Zbieranie danych polega na pozyskaniu surowych informacji z różnych źródeł. Mogą to być dane wewnętrzne, takie jak logi systemowe, dane transakcyjne czy zapisy z baz danych, jak również dane zewnętrzne – na przykład dane publiczne, dane z mediów społecznościowych, API zewnętrznych dostawców czy dane sensoryczne z urządzeń IoT. Na tym etapie istotne jest zrozumienie, jakie dane są potrzebne do rozwiązania konkretnego problemu biznesowego oraz zapewnienie legalności ich pozyskania (m.in. zgodność z RODO).

Integracja danych to proces łączenia danych pochodzących z różnych źródeł oraz formatów w spójną i ujednoliconą strukturę. Wymaga to rozwiązywania problemów takich jak różnice w standardach zapisu, brak wspólnych identyfikatorów czy niespójności czasowe. Celem integracji jest stworzenie całościowego obrazu badanego zjawiska, który można wykorzystać w dalszych etapach analizy i modelowania.

W praktyce zbieranie i integracja danych wiąże się często z wyzwaniami technicznymi (np. obsługa dużej ilości danych lub różnych formatów plików), jak i organizacyjnymi (np. dostępność danych w różnych działach firmy). Dlatego kluczowe znaczenie ma odpowiednie zaplanowanie tych kroków i dobór narzędzi wspierających automatyzację procesów ETL (Extract, Transform, Load).

Efektywne zebranie i połączenie danych tworzy solidną podstawę do ich dalszego oczyszczania, transformowania i analizy, co przekłada się na lepsze i bardziej wiarygodne wyniki modeli AI/ML.

Oczyszczanie danych – identyfikacja i usuwanie błędów

Oczyszczanie danych to fundamentalny etap przygotowania zbioru danych do trenowania modeli uczenia maszynowego i sztucznej inteligencji. Dane surowe, pozyskane z różnych źródeł, często zawierają błędy, braki, niespójności czy wartości odstające (outliers), które mogą znacząco wpłynąć na jakość modelu. Celem tego etapu jest identyfikacja i korekta lub usunięcie tych problemów w sposób systematyczny i kontrolowany.

Typowe problemy w danych

• Brakujące dane: puste komórki, wartości null lub NaN, które mogą zaburzyć statystyki i uczenie modelu.
• Błędy typograficzne i niespójności zapisów: np. "Polska" vs "polska", "N.Y." vs "New York".
• Nieprawidłowe typy danych: liczby zapisane jako tekst lub daty w różnych formatach.
• Duplikaty: powtarzające się rekordy, które mogą prowadzić do przeszacowania niektórych obserwacji.
• Wartości odstające: nietypowe lub ekstremalne wartości, które mogą wynikać z błędów pomiarowych lub rzeczywistych zjawisk.

Techniki oczyszczania danych

Istnieje wiele metod oczyszczania danych, a ich wybór zależy od charakteru problemu i danych. Poniższa tabela przedstawia podstawowe techniki i ich zastosowania:

Przykład: usuwanie duplikatów w Pythonie

import pandas as pd

# Wczytanie danych
df = pd.read_csv('dane.csv')

# Liczba rekordów przed usunięciem duplikatów
print("Przed:", len(df))

# Usunięcie duplikatów
df = df.drop_duplicates()

# Liczba rekordów po usunięciu duplikatów
print("Po:", len(df))

Oczyszczanie danych to nie jednorazowa czynność, lecz proces iteracyjny, który wymaga dokładności, zrozumienia danych, a często także wiedzy domenowej. Warto zachować oryginalne dane i dokumentować wszystkie kroki przekształceń, aby umożliwić późniejsze odtworzenie całego pipeline'u lub jego modyfikację. Jeśli chcesz pogłębić swoją wiedzę z zakresu analizy danych i budowania modeli, zapoznaj się z Kursem Machine Learning i Deep Learning w języku Python – modelowanie, optymalizacja, analiza danych.

Przygotowanie danych – standaryzacja i transformacja

Przed przystąpieniem do trenowania modeli uczenia maszynowego, niezbędne jest odpowiednie przygotowanie danych. Jednym z kluczowych etapów tego procesu jest ich standaryzacja oraz transformacja. Choć pojęcia te bywają stosowane zamiennie, w praktyce odnoszą się do różnych operacji mających na celu poprawę jakości danych wejściowych do modeli AI/ML. W czasie szkoleń Cognity ten temat bardzo często budzi ożywione dyskusje między uczestnikami.

Standaryzacja

Standaryzacja polega na przekształceniu danych numerycznych tak, aby miały określone właściwości statystyczne, najczęściej średnią równą 0 i odchylenie standardowe równe 1. Dzięki temu cechy o różnych skalach i jednostkach stają się porównywalne, co jest istotne m.in. dla algorytmów opartych na odległości, takich jak k-NN czy SVM.

from sklearn.preprocessing import StandardScaler
import numpy as np

X = np.array([[10, 200], [20, 300], [30, 400]])
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

Transformacja

Transformacja to szersze pojęcie obejmujące różnego rodzaju modyfikacje danych, takie jak:

• Normalizacja – przekształcanie danych do wspólnego zakresu, zazwyczaj [0, 1]
• Transformacje logarytmiczne – zmniejszanie wpływu dużych wartości, przydatne przy rozkładach wykładniczych
• Ekstrakcja daty i czasu – np. wydzielenie dnia tygodnia czy godziny z daty
• Transformacja zmiennych kategorycznych – np. kodowanie typu one-hot

Standaryzacja vs. Transformacja – porównanie

Odpowiedni dobór techniki przygotowania danych zależy od charakterystyki zbioru danych oraz wymagań modelu. W praktyce często łączy się różne podejścia, aby uzyskać możliwie najlepszą reprezentację danych wejściowych.

Feature engineering – tworzenie wartościowych cech

Feature engineering to proces tworzenia, przekształcania i selekcji zmiennych (cech), które służą jako wejście dla modeli uczenia maszynowego. Jego celem jest zwiększenie skuteczności modeli poprzez dostarczenie im bardziej informatywnych i reprezentatywnych danych wejściowych. To właśnie dobrze skonstruowane cechy często decydują o sukcesie lub porażce projektu AI/ML.

Kluczowe zadania feature engineeringu to:

• Tworzenie nowych cech – na przykład obliczanie różnicy między dwoma datami (np. czas od rejestracji użytkownika do ostatniego zakupu).
• Agregacja danych – tworzenie cech na podstawie statystyk, np. średnia wartość zakupów klienta.
• Przekształcenia zmiennych – np. logarytmowanie wartości, normalizacja, binning (dzielenie zmiennej ciągłej na przedziały).
• Kodowanie cech kategorycznych – np. one-hot encoding, target encoding.
• Wybór cech – identyfikacja najbardziej istotnych zmiennych dla danego modelu.

Dobry feature engineering często wymaga połączenia wiedzy dziedzinowej, intuicji oraz eksperymentowania. Poniżej znajduje się uproszczona tabela przedstawiająca różne podejścia do tworzenia cech:

Przykład prostego feature engineeringu w języku Python z użyciem pakietu pandas:

import pandas as pd

# Przykładowe dane
df = pd.DataFrame({
    'data_zakupu': ['2023-01-01', '2023-06-15'],
    'kwota': [120, 300]
})

# Konwersja daty i dodanie cechy „miesiąc”
df['data_zakupu'] = pd.to_datetime(df['data_zakupu'])
df['miesiac'] = df['data_zakupu'].dt.month
print(df)

Feature engineering powinien być dopasowany do konkretnego problemu i typu danych, dlatego nie ma jednego uniwersalnego podejścia. Niezależnie jednak od zastosowanego algorytmu – odpowiednio przygotowane cechy mogą znacząco wpłynąć na jakość przewidywań modelu. Jeśli chcesz nauczyć się, jak skutecznie przygotowywać dane do modeli ML w praktyce, sprawdź nasz Kurs Uczenie maszynowe z wykorzystaniem Pythona.

Wpływ jakości danych na skuteczność modeli AI/ML

Jakość danych jest jednym z kluczowych czynników decydujących o skuteczności modeli sztucznej inteligencji i uczenia maszynowego. Nawet najbardziej zaawansowane algorytmy nie będą w stanie dostarczyć wiarygodnych i trafnych wyników, jeśli dane wejściowe są niekompletne, błędne lub nieodpowiednio przetworzone.

Modele uczą się na podstawie dostępnych danych. Ich zdolność do generalizacji, trafności predykcji czy odporności na błędy zależy bezpośrednio od jakości i reprezentatywności zbioru treningowego. W praktyce oznacza to, że:

• Braki danych (missing values) mogą zakłócić działanie algorytmów lub zmniejszyć ich dokładność.
• Szum informacyjny (np. błędne etykiety, nieprawidłowe wartości) może prowadzić do modelu, który uczy się niewłaściwych zależności.
• Niewłaściwa reprezentacja cech (np. różne skale, jednostki) może zniekształcać wyniki i utrudniać konwergencję modelu.

Poniższa tabela przedstawia zależność między jakością danych a typowymi skutkami dla modeli AI/ML:

Dla zobrazowania wpływu jakości danych, poniżej przedstawiono prosty przykład w Pythonie, który pokazuje, jak obecność szumu może pogorszyć dokładność modelu:

from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score
import numpy as np

# Dane bez szumu
X, y = make_classification(n_samples=1000, n_features=20, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)
clf = RandomForestClassifier()
clf.fit(X_train, y_train)
print("Dokładność bez szumu:", accuracy_score(y_test, clf.predict(X_test)))

# Dodanie szumu
X_noisy = X + np.random.normal(0, 10, X.shape)
X_train_n, X_test_n, y_train, y_test = train_test_split(X_noisy, y, test_size=0.3)
clf.fit(X_train_n, y_train)
print("Dokładność z szumem:", accuracy_score(y_test, clf.predict(X_test_n)))

Różnica w dokładności podkreśla, jak nawet niewielki szum może znacząco wpłynąć na skuteczność modelu.

Wnioskiem jest to, że inwestowanie czasu i zasobów w odpowiednie przygotowanie i walidację danych to nie tylko dobra praktyka, ale wręcz konieczność w każdym projekcie AI/ML. Bez solidnych danych, nawet najlepsze modele stają się bezużyteczne.

Dobre praktyki i najczęstsze błędy

Efektywna praca z danymi w projektach AI/ML wymaga nie tylko odpowiednich narzędzi, ale przede wszystkim właściwego podejścia. W tej sekcji przedstawiamy najważniejsze dobre praktyki oraz typowe błędy, które mogą znacząco wpłynąć na końcowy rezultat projektu.

Dobre praktyki

• Dokumentacja każdego etapu pracy z danymi – prowadzenie notatek dotyczących źródeł danych, przyjętych założeń, zastosowanych transformacji i filtrów.
• Reprodukowalność procesu – projekt powinien być możliwy do odtworzenia przez innych członków zespołu, co wymaga m.in. wersjonowania danych i kodu.
• Walidacja danych – regularna weryfikacja jakości danych na każdym etapie: od pozyskania po przygotowanie do modelowania.
• Iteracyjność – praca z danymi to proces ciągły, w którym warto testować różne podejścia i wracać do wcześniejszych etapów w razie potrzeby.
• Ścisła współpraca z ekspertami dziedzinowymi – zrozumienie kontekstu biznesowego i właściwa interpretacja cech danych pomagają w tworzeniu lepszych modeli.

Najczęstsze błędy

• Brak eksploracji i analizy danych – pominięcie etapu EDA prowadzi często do błędnych założeń i nietrafionych decyzji dotyczących modelowania.
• Nadmierne zaufanie do automatyzacji – poleganie wyłącznie na gotowych narzędziach lub pipeline’ach bez zrozumienia, co dzieje się z danymi, może prowadzić do nieprzewidywalnych wyników.
• Przetrenowanie na danych źle przygotowanych – modele mogą uczyć się szumów lub błędów w danych, co skutkuje słabą generalizacją.
• Ignorowanie brakujących lub odstających wartości – nieodpowiednie traktowanie takich danych może zniekształcić wyniki modelu.
• Nieodpowiednia skala i zakres danych – niedopasowanie danych do zakresów oczekiwanych przez algorytmy może utrudnić uczenie się modeli.

Świadomość powyższych zagadnień i konsekwentne stosowanie dobrych praktyk znacząco zwiększa szanse na sukces projektu AI/ML – zarówno pod względem jakości modelu, jak i jego użyteczności biznesowej.

Podsumowanie i rekomendacje

Efektywna praca z danymi to fundament każdego projektu z obszaru sztucznej inteligencji (AI) i uczenia maszynowego (ML). Od jakości i kompletności danych zależy zarówno trafność predykcji modeli, jak i ich zdolność do generalizacji. Proces ten nie kończy się na zebraniu danych – kluczowe są również ich oczyszczanie, odpowiednie przekształcenie oraz opracowanie cech wejściowych (feature engineering), które umożliwiają modelom lepsze „zrozumienie” problemu.

Różne etapy przygotowania danych mają swoje unikalne role:

• Zbieranie i integracja – polegają na pozyskaniu danych z różnych źródeł i przygotowaniu ich do wspólnego przetwarzania.
• Oczyszczanie – koncentruje się na eliminacji braków, błędów i nieprawidłowości w danych.
• Transformacja i standaryzacja – zapewniają spójność danych pod względem formatu i skali.
• Feature engineering – pozwala na wydobycie z danych tych informacji, które mają największe znaczenie dla jakości modelu.

Dane należy traktować jako aktywo strategiczne. Przemyślany i świadomy proces ich przygotowania zwiększa nie tylko skuteczność algorytmów, ale także zaufanie do wyników analizy. Dlatego warto inwestować czas w budowanie solidnego pipeline’u danych, korzystać z automatyzacji tam, gdzie to możliwe, oraz stale monitorować jakość danych, które trafiają do modeli produkcyjnych. W Cognity uczymy, jak skutecznie radzić sobie z podobnymi wyzwaniami – zarówno indywidualnie, jak i zespołowo.

Artykuł 4 EU AI Act – co dokładnie reguluje i kogo dotyczy? 08 października 2025

5 realnych zastosowań Copilot Studio w firmie: HR, sprzedaż, obsługa klienta, logistyka, IT 06 października 2025