Oracle Engineered Systems - Oracle Data Warehouse Community

Transcription

www.ise-informatik.de
Die perfekte Kombination
im Agilen Data Warehouse
Oracle Engineered Systems mit Data Vault
Herbert Rossgoderer
Geschäftsführer
Matthias Fuchs
DWH Architekt
ISE Information Systems Engineering GmbH
Enable
eXtreme
Performance.
ISE Information Systems Engineering





Gegründet 1991
Mitarbeiteranzahl: 50
Hauptsitz in Gräfenberg, Niederlassungen in München und Nürnberg
Schwerpunkte:
 Oracle Engineered Systems (Exadata / Exalogic / Exalytics)
 Data Warehousing & Business Intelligence
 Oracle DB – Migrationen, Optimierungen, Hochverfügbarkeit
 Managed Service für Datenbanken, BI und Middlewareapplikationen
Oracle Partner Engineered Systems Award 2013
Copyright (C) ISE GmbH - All Rights Reserved
2
Enable
eXtreme
Performance.
ISE Oracle Technology Center
3
ISE Oracle Technology Center
Enable
eXtreme
Performance.
Erstes und einziges Exastack Technology Center in
Deutschland in Nürnberg
4
Enable
eXtreme
Performance.
Überblick




Data Vault Historischer Überblick
Grundsätzliche Annahmen
Ziele in der DWH Entwicklung
Key Indikatoren eines Agilen DWH
 Data Vault
 Automatisierung
 Engineered Systems

Agiles DWH PoC
5
Data Vault Historischer Überblick
Enable
eXtreme
Performance.
© (Linstedt, Graziano, & Hultgren, The New Business Supermodel, The Business of Data Vault Modeling, 2008, p. 36)
Data Vault 1.0 Specification and certification (CDVDM) is now outdated. It focused
highly on *just* Data Vault modeling.
Data Vault 2.0 has arrived on the scene as of 2013 and brings to the table: Big Data,
NoSQL, Unstructured, Semi-Structured seamless integration. Along with
methodology, architecture, and implementation best practices.
6
Enable
eXtreme
Performance.
Grundsätzliche Annahmen

Eine gemeinsame Geschäftssprache ist sehr schwierig zu
definieren und meistens existieren verschiedene
Geschäftsdefinitionen für das gleiche Geschäftskonzept
 Ein Unternehmensdatenmodell kann nicht auf einer einzigen Version
der Wahrheit (SVOT) in einem Unternehmen basiert sein

Kunden kennen und verstehen ihre Daten für 60 bis 70%
 Die anderen 30% bis 40% funktionellen Anforderungen werden


während der UAT (User Accaptence Tests) gefunden und müssen
zusätzlich entwickelt werden
Wir brauchen die atomaren historisierte Datenansicht so bald wie
möglich
Ein Unternehmen wird sich ändern - ein Status Quo bedeutet
Rückschritt
 Ein Unternehmensgeschäftsmodel das sich nicht ändert, gibt es nicht
 Ein Datenmodell muss leicht anpassbar, erweiterbar, sein ohne
Auswirkungen auf die bestehenden Entitäten
7
Single Version of Truth vs. Single Version of Facts
Enable
eXtreme
Performance.
Grundlage
Geschäftsdefinition
Grundlage
Quelle
8
Ziele in der DWH Entwicklung
Enable
eXtreme
Performance.
Implementationszeit senken, Kosten minimieren und Abfrage
Performance erhöhen:
 Zeit, Kosten
 Möglichst hohe Automatisierung im Data Warehouse
 Möglichst wenig Eigenentwicklungen
Automatisierung basierend auf Data Vault

Implementation
 Hohe Flexibilität im Datenmodel (Data Vault)
 Historische Daten (Data Vault)

Performance
 Geschwindigkeit der Engineered Systems (Data Vault, Exadata)
 Reduktion des Persitent Layer durch hohe Performance der Engineered
Systeme (Automatisierung basierend auf Exalytics)
9
Key Indikatoren eines Agilen DWH
Enable
eXtreme
Performance.



Data Vault Modell
Automatisierung
Hochperformante Hardware – z.B. Engineered Systems
 Exadata
 Exalytics
10
Data Vault Theorie
Enable
eXtreme
Performance.
11
Data Vault - Beispiel
Enable
eXtreme
Performance.
12
Data Vault Vergleich
Enable
eXtreme
Performance.

Pro
 Erweiterbares Modell aufgrund von Auslagerung von Schlüsseln &
Beziehungen
 Standardisierter Ansatz unterstützt Generierung von Datenmodell &
ETL Code
 Vollständig gelöstes Modell liefert gute Extraktionsleistung

Kontra
 Vervielfältigt die Anzahl der Entitäten im Vergleich zu 3 NF mindestens
um den Faktor 3
13
Data Vault - Basis Regeln
Enable
eXtreme
Performance.


Nur Inserts (HUB, LINK)
Satellit Langsame Änderung Typ-2-Logik
 1 FK
 Beginn, End Datum
 HUB, LINK kann mehrere SATs haben

LINK – Gültigkeit -> offiziell im SAT
14
Enable
eXtreme
Performance.
Automatisierung
Voraussetzungen für Code-Generierung:
 Häufige Wiederverwendung des Codes
 Viele Objekte mit unterschiedlicher Struktur, die auf einheitliche Weise



umgewandelt werden müssen
Hohes Standardisierungsniveau möglich Strikter Modellierungsansatz,
der bei der Implementierung eines bestimmten Modells keine großen
Abweichungen zulässt
Leichte und standardisierte ETL--‐Logik möglich
Metadaten für die Code-Generierung können für einen hohen
Prozentsatz (über 50 %) generiert werden
 Datenbank-Data Dictionary lesen
 ETL-Tool-Metadaten lesen
 DDL-Datei lesen
15
Automatisierung am Beispiel
Tripwire DWH Accelerator
Enable
eXtreme
Performance.
16
Engineered Systems - Exadata
Enable
eXtreme
Performance.



Hoch Performantes Datenbanksystem
Realtime Abfrage des Foundation Layers möglich
Durch zukünftige In-Memory Funktionalität Abfrage im Foundation
Layer performant
17
Enable
eXtreme
Performance.
Engineered Systems
Exalytics Key Features OBIEE



Summary Advisor in OBIEE
Aggregat Erstellung Timesten InMemory
Hardware Optimization on BI Publisher, OBIEE and Essbase
18
Enable
eXtreme
Performance.
Engineered Systems
Summary Advisor and Aggregates
Prinzip
1. Use
Dashboards
3. Run
Aggregates
2. Run
Summary
Advisor
19
Enable
eXtreme
Performance.
Usage Tracking
Interactive
Dashboards
Reports
Answers
Oracle BI Server
Usage Tracking
Usage Tracking
User Data
20
Enable
eXtreme
Performance.
Summary Advisor
BI
Model
Sumary
advisor
Script
Usage
Tracking
21
Enable
eXtreme
Performance.
Engineered Systems
Aggregates
Building Aggregates
Reports
Answers
Interactive
Dashboards
Script
Logical SQL
Oracle BI Server
Physical SQL
Usage
Tracking
User Data
Oracle TT
22
Enable
eXtreme
Performance.
Engineered Systems
Query
New Query
Reports
Answers
Interactive
Dashboards
Logical SQL
Oracle BI Server
Physical SQL
Usage
Tracking
User Data
Oracle TT
23
Enable
eXtreme
Performance.
Agiles DWH PoC
50 %
50 %
24
Agiles DWH PoC
Enable
eXtreme
Performance.

Model 1: Physical Layer
 FL (data vault) import based on views
 Import Views (Business Data Vault)

Model 2: Business Model
 Federated Model based on Foundation Layer
 Aggregates in TimesTen
25
Enable
eXtreme
Performance.
Agiles DWH PoC
Model 1:
View Layer
Model 2:
Aggregates
50 % -> 20 %
50 % -> 20 %
26
Agiles DWH PoC
Enable
eXtreme
Performance.

Data Vault Layer





Based on real implementation
8TB raw Data
Compressed to 1,6 TB
305 Tables, Satellite with 1.6 Billion records 60 GB
Time spent About 14 Days
2 days
2 days
3 days
2 days
load data, 5 days tune data vault tables query
view concept
RPD Approach
testing results
27
Enable
eXtreme
Performance.
Agiles DWH PoC
Data Filter for 1 year
Number of corresponding FL records in fact : > 300 million
Single Dimension
FL performance
(views)
Times Ten
Performance
Standard Measure
+/- 40 sec
< 1 sec
Level Based
Measure
+/- 40 sec
< 1 sec
Share
+/- 40 sec
< 1 sec
TimeSeriesFunctions
+/- 60 sec
< 1 sec
28
Enable
eXtreme
Performance.
Agiles DWH PoC
Data Filter for 1 year
Number of corresponding FL records in fact : > 300 million
Multi Dimension
FL performance
(views)
Times Ten
Performance
Standard Measure
+/- 80 sec
< 1 sec
Level Based
Measure
+/- 80 sec
< 1 sec
Share
+/- 70 sec
< 1 sec
TimeSeriesFunctions +/- 80 sec
< 1 sec
29
Enable
eXtreme
Performance.
Q& A
30

Oracle Engineered Systems - Oracle Data Warehouse Community

Transcription

Similar documents

İş Ortakları Tarafında Son Durum ve Ortak Hedeflerimiz Ahmet Sarı

Fernwirktechnik (PDF 1,4 Mb) - IFA mbH Ingenieurgesellschaft für

Dezember 2014

PDF Leseprobe - Frank Witzel