Publication details
- Effiziente Verarbeitung von Klimadaten mit ParStream (Moritz Lahn), Bachelor's Thesis, School: Universität Hamburg, 2012-06-28
Publication details
Abstract
In Zusammenarbeit mit der ParStream GmbH wird in dieser Arbeit untersucht in wieweit sich die von ParStream entwickelte Datenbank zur effizienteren Verarbeitung von Klimadaten nutzen lässt. Für die Auswertung der Klimadaten verwenden Wissenschaftler oftmals das Climate Data Operators Programm (CDO). Das CDO Programm ist eine Sammlung von vielen Operatoren zur Auswertung von Daten die von Klimasimulationen bzw. Erd-System Modellen stammen. Die Auswertung mit diesem Programm ist sehr zeitintensiv. Dieser Ausgangspunkt begründet die Motivation zur Nutzung der ParStream Datenbank, die mit einem eigens entwickelten spaltenorientierten Bitmap Index und einer komprimierten Indexstruktur, Anfragen an eine große Datenbasis parallel und sehr effizient verarbeiten kann. Mit dem beschleunigten Abruf der Daten eröffnen sich neue Möglichkeiten im Bereich der Echtzeit-Analyse, die bei der interaktiven Visualisierung von Klimadaten hilfreich sind. Als Ergebnis dieser Arbeit wird untersucht welche CDO Operatoren mit der ParStream Datenbank umsetzbar sind. Einige Operatoren werden zu Demonstrationszwecken mit der ParStream Datenbank umgesetzt. Die Leistungsvorteile werden durch Tests verifiziert und zeigen eine effizientere Verarbeitung von Klimadaten mit der ParStream Datenbank. Es hat sich herausgestellt, dass ParStream bei einigen Operatoren die Ergebnisse zwischen 2x und 20x schneller ausliefern kann als das CDO Programm. Als ein weiteres Ergebnis stellte sich bei der Klassifizierung der CDO Operatoren heraus, dass die meisten Operationen direkt durch SQL abgebildet werden können.
Der Industriepartner stimmt einer Veröffentlichung des PDFs nicht zu.
BibTeX
@misc{EVVKMPL12,
author = {Moritz Lahn},
title = {{Effiziente Verarbeitung von Klimadaten mit ParStream}},
advisors = {Julian Kunkel},
year = {2012},
month = {06},
school = {Universität Hamburg},
type = {Bachelor's Thesis},
abstract = {In Zusammenarbeit mit der ParStream GmbH wird in dieser Arbeit untersucht in wieweit
sich die von ParStream entwickelte Datenbank zur effizienteren Verarbeitung von Klimadaten
nutzen lässt. Für die Auswertung der Klimadaten verwenden Wissenschaftler oftmals das Climate
Data Operators Programm (CDO). Das CDO Programm ist eine Sammlung von vielen Operatoren zur
Auswertung von Daten die von Klimasimulationen bzw. Erd-System Modellen stammen. Die
Auswertung mit diesem Programm ist sehr zeitintensiv. Dieser Ausgangspunkt begründet die
Motivation zur Nutzung der ParStream Datenbank, die mit einem eigens entwickelten
spaltenorientierten Bitmap Index und einer komprimierten Indexstruktur, Anfragen an eine große
Datenbasis parallel und sehr effizient verarbeiten kann. Mit dem beschleunigten Abruf der
Daten eröffnen sich neue Möglichkeiten im Bereich der Echtzeit-Analyse, die bei der
interaktiven Visualisierung von Klimadaten hilfreich sind. Als Ergebnis dieser Arbeit wird
untersucht welche CDO Operatoren mit der ParStream Datenbank umsetzbar sind. Einige Operatoren
werden zu Demonstrationszwecken mit der ParStream Datenbank umgesetzt. Die Leistungsvorteile
werden durch Tests verifiziert und zeigen eine effizientere Verarbeitung von Klimadaten mit
der ParStream Datenbank. Es hat sich herausgestellt, dass ParStream bei einigen Operatoren die
Ergebnisse zwischen 2x und 20x schneller ausliefern kann als das CDO Programm. Als ein
weiteres Ergebnis stellte sich bei der Klassifizierung der CDO Operatoren heraus, dass die
meisten Operationen direkt durch SQL abgebildet werden können.
** Der Industriepartner stimmt einer Veröffentlichung des PDFs nicht zu.**},
}