Fengler_Gumann DWH Meeting

A Real-Time Data Warehouse:
Bridging the Gap between Weather and Climate
Andreas Gumann
03.02.2010
Die Meteomedia-Gruppe
Firmenstruktur
Omega/USA
Jörg Kachelmann
Produktions AG
The Weatherman
Inc.
Appenzell/Schweiz
Bridge Lake/Canada
Meteomedia GmbH
Meteomedia AG
Meteoradar GmbH
Bochum/Deutschland
Gais/Schweiz
Stallikon/Schweiz
WeatherOK Inc.
1990 von Jörg Kachelmann gegründet
Einer der ersten und führenden privaten Wetterdienstleister in Europa
Vertikal voll integrierter Wetterdienst
Expandierendes Unternehmen
03.02.2010
2
Das Meteomedia-Messnetz
Gemeinsam mit zahlreichen
Kooperationspartnern betreibt
Meteomedia ein privates
Wetterstations-Netz mit rund 780
Wetterstationen.
Zusätzlich verfügen wir über die
Messwerte aller nationalen
Wetterdienste. Damit stehen
Meteomedia in Deutschland und in der
Schweiz rund 1’520 Wetterstationen zur
Verfügung.
Die daraus resultierende
Messnetzdichte ist in dieser Form
einmalig!
03.02.2010
3
Wie entsteht eine Wettervorhersage?
Flugzeuge
Satelliten
Radiosonden
Prognoserechner
Schiffe
Bojen
Wettermodelle
Wetterstationen
Niederschlagsradar
03.02.2010
4
Wie entsteht eine Wettervorhersage?
Täglicher Dateneingang:
Satelliten
Flugzeuge
100 GB
Radiosonden
2 GB
Prognoserechner
Schiffe
5 GB
Bojen
15 GB
Niederschlagsradar
03.02.2010
Wettermodelle
Wetterstationen
70 GB
5
Wettermodelle
4x4 km Strömungsbild
03.02.2010
6
Model Output Statistics (MOS)
+
Grobmaschiges Wettermodell
Daten der Wetterstation
Punktvorhersage für eine Station
7
Warum Wettervorhersagen? Wen interessiert Wetter?
Internet Portale
Veranstaltungen
Fernsehen
8
Warum Wettervorhersagen? Wen interessiert Wetter?
Unwetterwarnungen
Versicherungen
Schadensgutachten
Wasserauen, Jan 2007
9
Warum Wettervorhersagen? Wen interessiert Wetter?
Bordcomputer
Straßenwetter
Winterdienst
10
Wen interessieren Klimadaten?
Energie-Produzenten
CME Energie Derivate
Risk-Management
Direkt- und Rückversicherer
Enterprise Risk
11
Problemstellung (Beispiele)
• Portale
„Gib mir alle Daten zum 26.10.2009 um 12z!“
Wetter
• Medien
„Regnet es morgen Nachmittag? Wie wird das Wochenende?“
• Energie
„Gib mir alle Daten der Station Fulda seit Messbeginn!“
Klima
• Medien / TV
„Welches war die kälteste Station im Februar 2006 in Hessen?“
• Risk Management
„Wie hoch ist das Niederschlagsrisiko bei Rock am Ring?“
03.02.2010
12
Anforderungen
„Wetter“
Aktuelle Werte
Die letzten 3-4 Tage
Vorhersagen
• Minütlicher Dateneingang
Ca. 5-10 GB
• Keine redundante Datenhaltung
• Backup im Live Betrieb
• Ausfallsicherheit
„Klima“
Historische Werte
Für die letzten Jahrzehnte
Hist. Vorhersagen
• Die Zugriffszeiten auf aktuelle und
historische Daten sollten in etwa
gleich schnell sein.
Ca. 5-10 TB
03.02.2010
13
Datenfluss
Wetterstationen
Schiffe
Flugzeuge
Radiosonden
Bojen
FM12*, FM15,
BUFR, XML, CSV
1minütig
24/7
AFD
Redundantes Dekoder-Cluster
*10382 SNDL22_EDZW_020700 AAXX 02071 10382
41580 72705 10085 20058 30080 40125 53003 76162
8483/ 333 55300 81825 84656 87359=
csv-Format
für jede Stunde ein File
03.02.2010
14
Datenfluss
Archivierung
NAS
20 TB
SAN
DB
RAC:
• Real failover
• Oracle Enterprise
Abstraktionslayer
Tape Roboter
Backup-System
filebasiert
03.02.2010
15
Datenbank-Design
CSVFiles
Daten der letzten
Stunde (minütlich)
2 Files
Highest Priority!
Daten der letzten 2 Wochen
(viertelstündlich)
ca. 200 Files
Normal Priority!
Daten älter als 2
Wochen (stündlich)
Ca. 45.000 Files
Lowest Priority!
Partitionierung
Insert/
Replace
Partition/
Exchange
OWB
Partition/
Exchange
Oracle Application Cluster 11g
Oracle Warehouse Builder 11g
Oracle Enterprise Manager 11g
03.02.2010
16
Softwareauswahl vor Projektstart (aus MM Sicht)
MySQL
Oracle
Hypertable
Filebasierte
Lösung
KnowHow bei MM
+
-
o
+
Robust
+
+
o
+
Redundanz
o
+
+
+
Shared Disk
-
+
o
o
Partitionierung
-
+
-
o
Backup
o
+
+
+
Preis
+
-
+
o
Interface
+
+
o
-
Dokumentation
+
o
-
-
Community
+
o
-
-
Head based
+
+
o
-
Schulungen
o
+
-
o
03.02.2010
17
Projekt-Hindernisse (Lessons Learned)
„ORA-600!“
Wir beobachten
Cluster-Waits…
+ Hardware ist Oracle spezifiziert
+ Aufbau KnowHow durch Schulungen / Fortbildungen
- Lizenzkauf vor Produktionsgang
- Defektes Netzwerkkabel (ca. 2 Monate)
- diverse Oracle Patches (ca. 1 Monat)
- Falsche Paketgröße: Jumbo Frames vs. UDP-Packet-Size (ca. 2 Monate)
03.02.2010
18
Vielen Dank für Ihre Aufmerksamkeit!