User Tools

Site Tools


publication

Publication details

  • Effiziente Verarbeitung von Klimadaten mit ParStream (Moritz Lahn), Bachelor's Thesis, School: Universität Hamburg, 2012-06-28
    Publication details

Abstract

In Zusammenarbeit mit der ParStream GmbH wird in dieser Arbeit untersucht in wieweit sich die von ParStream entwickelte Datenbank zur effizienteren Verarbeitung von Klimadaten nutzen lässt. Für die Auswertung der Klimadaten verwenden Wissenschaftler oftmals das Climate Data Operators Programm (CDO). Das CDO Programm ist eine Sammlung von vielen Operatoren zur Auswertung von Daten die von Klimasimulationen bzw. Erd-System Modellen stammen. Die Auswertung mit diesem Programm ist sehr zeitintensiv. Dieser Ausgangspunkt begründet die Motivation zur Nutzung der ParStream Datenbank, die mit einem eigens entwickelten spaltenorientierten Bitmap Index und einer komprimierten Indexstruktur, Anfragen an eine große Datenbasis parallel und sehr effizient verarbeiten kann. Mit dem beschleunigten Abruf der Daten eröffnen sich neue Möglichkeiten im Bereich der Echtzeit-Analyse, die bei der interaktiven Visualisierung von Klimadaten hilfreich sind. Als Ergebnis dieser Arbeit wird untersucht welche CDO Operatoren mit der ParStream Datenbank umsetzbar sind. Einige Operatoren werden zu Demonstrationszwecken mit der ParStream Datenbank umgesetzt. Die Leistungsvorteile werden durch Tests verifiziert und zeigen eine effizientere Verarbeitung von Klimadaten mit der ParStream Datenbank. Es hat sich herausgestellt, dass ParStream bei einigen Operatoren die Ergebnisse zwischen 2x und 20x schneller ausliefern kann als das CDO Programm. Als ein weiteres Ergebnis stellte sich bei der Klassifizierung der CDO Operatoren heraus, dass die meisten Operationen direkt durch SQL abgebildet werden können.
Der Industriepartner stimmt einer Veröffentlichung des PDFs nicht zu.

BibTeX

@misc{EVVKMPL12,
	author	 = {Moritz Lahn},
	title	 = {{Effiziente Verarbeitung von Klimadaten mit ParStream}},
	advisors	 = {Julian Kunkel},
	year	 = {2012},
	month	 = {06},
	school	 = {Universität Hamburg},
	type	 = {Bachelor's Thesis},
	abstract	 = {In Zusammenarbeit mit der ParStream GmbH wird in dieser Arbeit untersucht in wieweit
			sich die von ParStream entwickelte Datenbank zur effizienteren Verarbeitung von Klimadaten
			nutzen lässt. Für die Auswertung der Klimadaten verwenden Wissenschaftler oftmals das Climate
			Data Operators Programm (CDO). Das CDO Programm ist eine Sammlung von vielen Operatoren zur
			Auswertung von Daten die von Klimasimulationen bzw. Erd-System Modellen stammen. Die
			Auswertung mit diesem Programm ist sehr zeitintensiv. Dieser Ausgangspunkt begründet die
			Motivation zur Nutzung der ParStream Datenbank, die mit einem eigens entwickelten
			spaltenorientierten Bitmap Index und einer komprimierten Indexstruktur, Anfragen an eine große
			Datenbasis parallel und sehr effizient verarbeiten kann. Mit dem beschleunigten Abruf der
			Daten eröffnen sich neue Möglichkeiten im Bereich der Echtzeit-Analyse, die bei der
			interaktiven Visualisierung von Klimadaten hilfreich sind. Als Ergebnis dieser Arbeit wird
			untersucht welche CDO Operatoren mit der ParStream Datenbank umsetzbar sind. Einige Operatoren
			werden zu Demonstrationszwecken mit der ParStream Datenbank umgesetzt. Die Leistungsvorteile
			werden durch Tests verifiziert und zeigen eine effizientere Verarbeitung von Klimadaten mit
			der ParStream Datenbank. Es hat sich herausgestellt, dass ParStream bei einigen Operatoren die
			Ergebnisse zwischen 2x und 20x schneller ausliefern kann als das CDO Programm. Als ein
			weiteres Ergebnis stellte sich bei der Klassifizierung der CDO Operatoren heraus, dass die
			meisten Operationen direkt durch SQL abgebildet werden können.

			** Der Industriepartner stimmt einer Veröffentlichung des PDFs nicht zu.**},
}

publication.txt · Last modified: 2019-01-23 10:26 by 127.0.0.1

Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki