Die Verarbeitung und Analyse von Klimadaten umfassen heutzutage größere Datenmengen, die sehr oft strukturiert innerhalb der NetCDF-Dateien aufbewahrt werden. Die Verarbeitungsprozesse der Datenanalyse benötigen komplexe leistungsfähige Systemen mit größerem Berechnungspotential, um die Datenverarbeitung in akzeptabler Zeit ausführen zu können. Moderne Big-Data-Werkzeuge bieten gut strukturierte Plattformen für die Verarbeitung wissenschaftlicher Daten innerhalb der NetCDF-Dateien. In dieser Arbeit werden mögliche Alternativen der Verwendung von Big-Data-Werkzeugen erläutert, die eine Möglichkeit schaffen, die vom Nutzer angeforderte Verarbeitungsabläufeinnerhalb einer Weboberfläche auszuführen und die Ergebnisse mit Hilfe einer grafischen Datendarstellung begutachten zu können. Auf der Basis des entwickelten Systems wird untersucht, inwiefern die aktuellen Werkzeuge für interaktive Analyse der Klimadaten geeignet sind. Dabei werden sämtliche Berechnungsprozesse mittels SciSparks auf einem Cluster von Berechnungsknoten ausgeführt. Die Steuerung dieser Prozessen sowie Visualisierung der Verarbeitungsergebnisse ermöglicht Apache Zeppelin innerhalb einer Webschnittstelle. Es wird untersucht, inwiefern genannte Werkzeuge angeforderte Voraussetzungen bereits erfüllen können. Diese Systeme werden durch einige Komponenten erweitert, um einen Prototyp des vorgestellten Ansatzes zu entwickeln. Somit werden auf der Basis theoretischer Grundlagen die aufgesetzten Komponenten in einem System mit einer Benutzerwebschnittstelle zusammengefasst. Dabei wurde vorhandene SciSparkFunktionalität mit den implementierten CDO-Operatoren und dem Stencil-Verfahren für ein-, zwei- und dreidimensionale NetCDF-Variablen erweitert. Zum Schluss wird gezeigt, wie effizient eine Ausführung der unterschiedlichen Prozessabläufe in dem entwickelten System sein kann und welche Einschränkungen auf die Software und Hardware ungeeignet beziehungsweise nicht leistungsfähig genug sind.

@mastersthesis{VVKMBE17,
	author	 = {Alexander Erhardt},
	title	 = {{Verarbeitung von Klimadaten mit Big-Data-Werkzeugen}},
	advisors	 = {Julian Kunkel},
	year	 = {2017},
	month	 = {07},
	school	 = {Universität Hamburg},
	howpublished	 = {{Online \url{https://wr.informatik.uni-hamburg.de/_media/research:theses:alexander_erhardt_verarbeitung_von_klimadaten_mit_big_data_werkzeugen.pdf}}},
	type	 = {Master's Thesis},
	abstract	 = {Die Verarbeitung und Analyse von Klimadaten umfassen heutzutage größere Datenmengen,
			die sehr oft strukturiert innerhalb der NetCDF-Dateien aufbewahrt werden. Die
			Verarbeitungsprozesse der Datenanalyse benötigen komplexe leistungsfähige Systemen mit
			größerem Berechnungspotential, um die Datenverarbeitung in akzeptabler Zeit ausführen zu
			können. Moderne Big-Data-Werkzeuge bieten gut strukturierte Plattformen für die Verarbeitung
			wissenschaftlicher Daten innerhalb der NetCDF-Dateien. In dieser Arbeit werden mögliche
			Alternativen der Verwendung von Big-Data-Werkzeugen erläutert, die eine Möglichkeit schaffen,
			die vom Nutzer angeforderte Verarbeitungsabläufeinnerhalb einer Weboberfläche auszuführen und
			die Ergebnisse mit Hilfe einer grafischen Datendarstellung begutachten zu können. Auf der
			Basis des entwickelten Systems wird untersucht, inwiefern die aktuellen Werkzeuge für
			interaktive Analyse der Klimadaten geeignet sind. Dabei werden sämtliche Berechnungsprozesse
			mittels SciSparks auf einem Cluster von Berechnungsknoten ausgeführt. Die Steuerung dieser
			Prozessen sowie Visualisierung der Verarbeitungsergebnisse ermöglicht Apache Zeppelin
			innerhalb einer Webschnittstelle. Es wird untersucht, inwiefern genannte Werkzeuge
			angeforderte Voraussetzungen bereits erfüllen können. Diese Systeme werden durch einige
			Komponenten erweitert, um einen Prototyp des vorgestellten Ansatzes zu entwickeln. Somit
			werden auf der Basis theoretischer Grundlagen die aufgesetzten Komponenten in einem System mit
			einer Benutzerwebschnittstelle zusammengefasst. Dabei wurde vorhandene SciSparkFunktionalität
			mit den implementierten CDO-Operatoren und dem Stencil-Verfahren für ein-, zwei- und
			dreidimensionale NetCDF-Variablen erweitert. Zum Schluss wird gezeigt, wie effizient eine
			Ausführung der unterschiedlichen Prozessabläufe in dem entwickelten System sein kann und
			welche Einschränkungen auf die Software und Hardware ungeeignet beziehungsweise nicht
			leistungsfähig genug sind.},
}