1. Wprowadzenie do architektury danych
Na poziomie organizacji architektura danych łączy strategię, zasady działania i plan rozwoju. Sekcja porządkuje podstawowe pojęcia, relację z architekturą korporacyjną oraz znaczenie wizji, celów, mierników, capabilities, principles, frameworks, architektury wysokiego poziomu i roadmapy danych.
- podstawowe pojęcia,
- strategia danych. Rola architektury danych w strategii organizacji,
- powiązanie z architekturą korporacyjną,
- wizja, cele, mierniki,
- możliwości (capabilities), zasady (principles), ramy (frameworks),
- architektura danych wysokiego poziomu,
- roadmapa danych.
2. Modele danych
Od modelu korporacyjnego po strukturę implementacyjną, modelowanie danych wyznacza sposób opisu i budowy informacji. W programie ujęto poziomy koncepcyjny, logiczny i fizyczny, role modeli, najczęściej stosowane notacje oraz przejście od modelu do implementacji.
- korporacyjny model danych,
- poziomy modelowania: koncepcyjny, logiczny, fizyczny. Role modeli,
- najczęściej spotykane notacje modelowania,
- przejście od modelu do implementacji.
3. Dane referencyjne i podstawowe (RDM/MDM)
Dane referencyjne i podstawowe porządkują wspólne definicje używane w różnych systemach i procesach. Sekcja wyjaśnia pojęcia RDM i MDM, obejmuje słowniki, kody, klasyfikacje oraz typowe domeny danych podstawowych, a także wskazuje główne wyzwania zarządzania nimi.
- definicje,
- słowniki, kody, klasyfikacje,
- typowe domeny danych podstawowych,
- wyzwania związane z zarządzaniem danymi podstawowymi.
4. Metadane i zarządzanie metadanymi
Metadane nadają danym kontekst potrzebny do ich właściwej interpretacji i zarządzania. Ta część rozróżnia typy metadanych, opisuje katalog i słownik jako centralny punkt wiedzy oraz wyjaśnia data lineage, analizę wpływu zmian i typowe problemy związane z utrzymaniem metadanych.
- rodzaje metadanych,
- katalog i słownik metadanych jako centralny punkt wiedzy,
- liniowość metadanych (data lineage) i analiza wpływu zmian,
- typowe wyzwania związane z zarządzaniem metadanymi.
5. Przechowywanie danych - technologie i wzorce
Relacyjne bazy danych i rozwiązania NoSQL zostały ujęte z perspektywy wzorców przechowywania oraz dopasowania do wymagań architektonicznych. Omówienie pokazuje różnice w organizacji danych i wyjaśnia znaczenie replikacji dla dostępności, spójności i pracy w środowiskach rozproszonych.
- relacyjne bazy danych,
- nierelacyjne bazy danych (NoSQL),
- replikacja danych.
6. Integracja danych - wzorce i podejścia
Budowa przepływów danych obejmuje nie tylko transformacje, lecz także dobór właściwego sposobu wymiany i synchronizacji. Sekcja porządkuje ETL, ELT, Reverse ETL, integrację wsadową i strumieniową, CDC, orkiestrację, API oraz rolę platform IPaaS i API Gateway.
- ETL, ELT, Reverse ETL,
- integracja strumieniowa i wsadowa,
- Change Data Capture (CDC),
- orkiestracja procesów integracyjnych,
- API jako interfejs komunikacyjny,
- platformy integracyjne (IPaaS, API Gateway).
7. Data warehouse i modelowanie analityczne
Projektowanie warstwy analitycznej wymaga doboru modelu zgodnego z potrzebami raportowania i udostępniania danych. W tej sekcji zestawiono podejścia Inmona i Kimballa, omówiono Data Vault, schemat gwiazdy i płatka śniegu oraz rolę Data Mart jako warstwy dostępowej.
- Inmon vs Kimball,
- Data Vault,
- schemat gwiazdy i płatka śniegu,
- Data Mart jako warstwa dostępowa.
8. Nowoczesne architektury platform danych
Nowoczesne platformy danych są analizowane przez pryzmat najczęściej stosowanych wzorców architektonicznych. Uczestnicy porównują architekturę medalionową, Data Lake, Data Lakehouse i Data Fabric, zwracając uwagę na ich strukturę, sposób działania oraz typowe obszary zastosowania.
- architektura medalionowa,
- Data Lake,
- Data Lakehouse,
- Data Fabric.
9. Data Mesh i architektura zdecentralizowana
Gdy odpowiedzialność za dane jest rozproszona między domeny biznesowe, potrzebne są nowe zasady organizacji architektury. Sekcja omawia Data Mesh, Domain Ownership, dane jako produkt, kontrakty danych, platformę self-service i nadzór federacyjny wraz z korzyściami i ograniczeniami podejścia.
- zasady Data Mesh,
- Domain Ownership,
- dane jako produkt,
- kontrakty danych,
- platforma self-service,
- nadzór federacyjny,
- zalety i wady data mesh.
10. Jakość danych i Data Governance
Rzetelne wykorzystanie danych wymaga zarówno mierzenia jakości, jak i jasnych zasad nadzoru. Ujęto tu wymiary jakości danych, profilowanie oraz reaktywne i proaktywne zarządzanie jakością, a następnie role, polityki i procesy składające się na Data Governance.
- wymiary jakości danych,
- reaktywne i proaktywne zarządzanie jakością danych,
- profilowanie danych,
- typowe role związane z nadzorem nad danymi,
- polityki i procesy nadzoru nad danymi.
11. Bezpieczeństwo i prywatność danych
Wymogi regulacyjne wyznaczają sposób projektowania ochrony danych w całej architekturze. Ta część obejmuje RODO i inne regulacje, klasyfikację danych, maskowanie i anonimizację, a także modele kontroli dostępu RBAC, ABAC i PBAC oraz podejście privacy by design i security by design.
- RODO i inne regulacje w architekturze danych,
- klasyfikacja danych,
- maskowanie, anonimizacja,
- kontrola dostępu (RBAC, ABAC, PBAC) i wpływ na IT Controls,
- Privacy by design / security by design.
12. Architektura danych jako fundament BI, ML, AI
Warstwa semantyczna porządkuje sposób korzystania z danych w rozwiązaniach BI, ML i AI. Sekcja pokazuje, jak architektura danych wspiera generatywną AI, prowadzi od raportowania do inteligentnych systemów decyzyjnych oraz umożliwia automatyzację i optymalizację procesów dzięki modelom AI.
- warstwa semantyczna,
- architektura danych wspierająca generatywną AI,
- od raportowania do inteligentnych systemów decyzyjnych,
- automatyzacja i optymalizacja procesów zarządzania danymi dzięki modelom AI.