DFU 05, Data Warehouse

# DFU 05
## Data Warehouse

---

### Hvad er Data Warehouse?

----

- Et Data Warehouse (DW) er en centraliseret database, der bruges til at samle, lagre og analysere store mængder data fra forskellige kilder.

- Det er designet til at understøtte beslutningstagning og forretningsanalyse ved at give et samlet overblik over virksomhedens data.

- Data Warehouse adskiller sig fra traditionelle databaser ved at være optimeret til læseoperationer og komplekse forespørgsler snarere end transaktionelle operationer.

</div>
<div>

![Data Warehouse](/assets/data-warehouse-graphic.png)

</div>
</div>

----

### Datawarehouse termet

> A data warehouse is a subject oriented, integrated, time-variant, and non-volatile collection of data.

Termet Data Warehouse, af Bill Inmon, 1990

----

### Egenskaber ved Data Warehouse

- **Subject Oriented** - Data er organiseret omkring nøgleemner som kunder, produkter eller salg frem for applikationer eller processer

- **Integrated** - Data fra forskellige kilder er konsolideret og standardiseret for at sikre konsistens og pålidelighed

- **Time-variant** - Data lagres over tid, hvilket muliggør historisk analyse og trendidentifikation

- **Non-volatile** - Data i et Data Warehouse ændres ikke efter indlæsning, hvilket sikrer dataintegritet og stabilitet

----

### Database vs. Data Warehouse

----

### OLTP vs OLAP

----

### Fordele ved Data Warehouse

- **Forbedret beslutningstagning** - Giver et samlet overblik over virksomhedens data, hvilket muliggør bedre og mere informerede beslutninger

- **Øget effektivitet** - Centraliserer data fra forskellige kilder, hvilket reducerer tid og indsats brugt på dataindsamling og -forberedelse

- **Historisk analyse** - Muliggør analyse af historiske data for at identificere trends og mønstre over tid

- **Forbedret datakvalitet** - Standardiserer og konsoliderer data, hvilket forbedrer datakvaliteten og pålideligheden

- **Skalerbarhed** - Kan håndtere store mængder data og vokse med virksomhedens behov

----

### Udfordringer ved Data Warehouse

- **Omkostninger** - Implementering og vedligeholdelse af et Data Warehouse kan være dyrt, især for små virksomheder

- **Kompleksitet** - Design og administration af et Data Warehouse kan være komplekst og kræver specialiseret viden

- **Data integration** - Integrering af data fra forskellige kilder kan være udfordrende, især hvis datakvaliteten varierer

----

### ETL og ELT

![ETL vs ELT](/assets/data-warehouse-etl.drawio.svg)

----

### ETL Proces

- **Extract** - Data hentes fra forskellige kilder som databaser, filer eller API'er

- **Transform** - Data renses, standardiseres og omformes for at sikre konsistens og kvalitet

- **Load** - De transformerede data indlæses i Data Warehouse for analyse og rapportering

----

#### ELT Proces

- **Extract** - Data hentes fra forskellige kilder som databaser, filer eller API'er

- **Load** - Data indlæses direkte i Data Warehouse uden forudgående transformation

- **Transform** - Data transformeres inden for Data Warehouse ved hjælp af dets beregningskraft og kapaciteter

----

#### ETL vs ELT

----

### ETL/ELT kilder

- Databaser (SQL, NoSQL)

- Filer (CSV, JSON, XML)

- API'er (REST, SOAP)

- Cloud-tjenester (AWS, Azure, Google Cloud)

- Event streaming data (Kafka, Kinesis)

----

### Transformation

- **Rensning** - Fjernelse af duplikater, håndtering af manglende værdier, korrektion af fejl

- **Standardisering** - Ensartning af formater, enheder og navngivningskonventioner

- **Berigelse** - Tilføjelse af yderligere oplysninger fra eksterne kilder

- **Aggrering** - Sammensætning af data for at skabe summerede eller opsummerede visninger

- **Filtrering** - Udvælgelse af relevante data baseret på specifikke kriterier

----

### Transformation værktøjer

- Regex og scripts (e.g. Python, SQL)

- **Azure Data Factory** - En cloud-baseret ETL/ELT tjeneste til data integration og transformation

- **Apache NiFi** - Et open-source værktøj til automatisering af dataflow mellem systemer

- **Talend** - En open-source data integration platform med ETL/ELT kapaciteter

----

### Data modellering i Data Warehouse

- **Star Schema** - En simpel og effektiv datamodel, hvor en central **fact table** er forbundet til flere dimensionstabeller

- **Snowflake Schema** - En mere kompleks datamodel, hvor dimensionstabeller er normaliserede og kan have flere niveauer af relationer

----

![Star Schema](/assets/dfu-star-schema-2x.png)

----

### Star Schema

- Central **fact table**, der indeholder måledata og nøgler til dimensionstabeller

- Flere dimensionstabeller, der indeholder beskrivende attributter relateret til **fact table**len

- Enkel og hurtig forespørgselsydelse på grund af den denormaliserede struktur

----

![Snowflake Schema](/assets/dfu-snowflake-schema.svg)

----

### Snowflake Schema

- Central **fact table**, der indeholder måledata og nøgler til dimensionstabeller

- Dimensionstabeller er normaliserede, hvilket reducerer dataduplication og forbedrer dataintegritet

- Mere kompleks struktur, der kan føre til langsommere forespørgselsydelse

----

### Valg af schema

----

### Hvad bruges Data Warehouses til?

- Forretningsanalyse og rapportering

- Data mining og mønstergenkendelse

- Kundesegmentering og målretning

- Salgs- og marketinganalyse

- Typisk ifm. BI (Business Intelligence) løsninger

----

### Populære Data Warehouse løsninger

- Dedikerede Data Warehouse platforme:
  - Amazon Redshift
  - Google BigQuery
  - Snowflake
  - Microsoft Azure Synapse Analytics

- Relationelle databaser med Data Warehouse kapaciteter:
  - Microsoft SQL Server
  - Oracle Database
  - IBM Db2
  - PostgreSQL

---

## Big Data

----

### Hvad er Big Data?

- Big Data refererer til store og komplekse datasæt, der er vanskelige at behandle og analysere ved hjælp af traditionelle databehandlingsmetoder

- Big Data karakteriseres ofte ved de tre V'er: Volume (mængde), Velocity (hastighed) og Variety (variation)

- **Volume** - Store mængder data, ofte i petabyte eller exabyte skala

- **Velocity** - Data genereres og behandles i realtid eller nær-realtidsbehandling

- **Variety** - Data kommer i forskellige formater, herunder strukturerede, semi-strukturerede og ustrukturerede data

</div>
<div>

![All your data are belong to me](/assets/all-your-data-are-belong-to-me.png)

</div>
</div>

----

### Typer af data: unstructured

![Unstructured](/assets/data-structure/unstructured-sources.png)

- Tekstfiler (e.g. dokumenter, e-mails)

- Billeder og videoer

- Sociale medier indhold (e.g. tweets, Facebook opslag)

</div>
<div>

![Unstructured](/assets/data-structure/grid-unstructured.png)

</div>
</div>

----

### Typer af data: semi-structured

![Semi-structured](/assets/data-structure/semistructured-sources.png)

- JSON og XML filer

- Logfiler

- Sensor data (e.g. IoT enheder)

</div>
<div>

![Semi-structured](/assets/data-structure/grid-semistructured.png)

</div>
</div>

----

### Typer af data: structured

![Structured](/assets/data-structure/structured-sources.png)

- Relationelle databaser (e.g. SQL databaser)

- Regneark (e.g. Excel filer)

- Data fra ERP og CRM systemer

- Transaktionsdata (e.g. salgsdata)

</div>
<div>

![Structured](/assets/data-structure/grid-structured.png)

</div>
</div>

---

## SQL & Data Warehousing

----

### Rollen af SQL i Data Warehousing

- SQL er det primære sprog til forespørgsler, analyse og manipulation af data i Data Warehouses

- Giver en standardiseret måde at hente aggregerede data fra store datasæt

- Understøttes af stort set alle Data Warehouse- og Big Data-platforme

----

### SQL-funktioner i Data Warehousing

- **Aggregation**: `SUM()`, `COUNT()`, `AVG()`, `MIN()`, `MAX()`

- **Filtering**: `WHERE`, `HAVING`

- **Joins**: `INNER JOIN`, `LEFT JOIN`, `RIGHT JOIN`, `FULL JOIN`

- **Grouping**: `GROUP BY`, `CUBE`

- **Matematiske funktioner**: `ROUND()`, `CEIL()`, `FLOOR()` m.m.

- **Dato og tidsfunktioner**: `DATEPART()`, `DATEDIFF()`, `GETDATE()` m.m.

----

### SQL-eksempel: Salgsrapport

- Hent total salg, antal salg og gennemsnitligt salg pr. produkt for året 2023

- Filtrer produkter med total salg over 10.000

- Sorter resultater efter total salg i faldende rækkefølge

</div>
<div>

```sql [1-5|12-15|16-17]
SELECT 
    p.ProductName,
    SUM(s.SalesAmount) AS TotalSales,
    COUNT(s.SaleID) AS NumberOfSales,
    AVG(s.SalesAmount) AS AverageSaleAmount
FROM
    Sales s
JOIN
    Products p ON s.ProductID = p.ProductID
WHERE
    s.SaleDate BETWEEN '2023-01-01' AND '2023-12-31'
GROUP BY
    p.ProductName
HAVING
    SUM(s.SalesAmount) > 10000
ORDER BY
    TotalSales DESC;
```

</div>
</div>

----

### Aggregate functions

----

### Eksempel på aggregate functions

```sql []
SELECT SUM(FilmRunTimeMinutes) AS [TotalRunTimeMinutes]
    , AVG(FilmRunTimeMinutes) AS [AverageRunTime]
    , MAX(FilmRunTimeMinutes) AS [HighestRunTime]
    , MIN(FilmRunTimeMinutes) AS [LowestRunTime]
    , COUNT(*) AS [FilmAmount]
FROM Movies;
```

----

### Group By og aggregering

- Ofte brugt til at summere og gruppere store datamængder

```sql []
SELECT region, 
       product_category, 
       SUM(sales_amount) AS total_sales
FROM fact_sales
JOIN dim_product ON fact_sales.product_id = dim_product.product_id
GROUP BY region, product_category
ORDER BY total_sales DESC;
```

----

### Cube

- Udvider funktionaliteten af `GROUP BY` ved at generere flere niveauer af aggregerede data

- Giver mulighed for at analysere data på forskellige dimensioner og niveauer

```sql []
SELECT region, product_category, 
       SUM(sales_amount) AS total_sales
FROM fact_sales
GROUP BY CUBE(region, product_category);
```

Data grundlag:

</div>
<div>

Resultat:

</div>
</div>

----

### Aggregation bruges ikke kun i Data warehouse

- Kan også bruges i almindelige databaser

- F.eks. for at finde gennemsnitsalderen af brugere i en bruger tabel

- Eller for at tælle antal ordrer pr. kunde i en ordre tabel

---

## Opgaver

[https://ucl.kjc.dk/dfu/dfu-05-aggregation.html](/dfu/dfu-05-aggregation.html)

sql

sql