Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAISEU-Forschungsprojekt vereinfacht die Verwendung von Big-Data-Technologien
»Big Data Europe« – mit Datentechnologien gesellschaftliche Herausforderungen bewältigen
Von Gesellschaft und Gesundheit über Landwirtschaft und Transport bis hin zu Energie, Klimawandel und Sicherheit – in jeder Disziplin erkennen Fachleute das Potenzial der enormen Datenmengen, die jeden Tag gesammelt werden. Die Herausforderung besteht darin, diese Informationen zu erfassen, zu verwalten und aussagekräftige Ergebnisse zu erlangen. Dabei soll künftig die Open-Source-Plattform des EU-Projekts »Big Data Europe« helfen, deren erste Version gerade veröffentlicht wurde: In sieben Pilotstudien setzen zahlreiche Experten aus IT-fernen Fachgebieten die Plattform in ihren Themenfeldern ein – so soll »Big Data Europe« dabei unterstützen, gesellschaftliche Herausforderungen zu bewältigen.
Obwohl viele Big-Data-Technologien als Open-Source-Software frei verfügbar sind, haben User ohne ausgeprägte IT-Kenntnisse Schwierigkeiten, sie zu integrieren und bereitzustellen. Die »Big Data Europe«-Plattform kann lokal oder in jeder Größenordnung in einer Cloud-Infrastruktur installiert und über eine einfache Benutzeroberfläche konfiguriert werden. Tools wie »Apache Hadoop«, »Apache Spark«, »Apache Flink« und viele andere können leicht instanziiert werden.
»Die Verfügbarkeit der Massen von Erd- und Sensordaten von Satelliten verändert mein Fachgebiet der Landwirtschaft«, sagt Maritina Stavrakaki von Agroknow, »allerdings ist es schwer, diese Daten mit traditionellen Tools wie Tabellen und einfachen Datenbanken zu kombinieren. Die BDE-Plattform ermöglicht es mir, große Datenmengen in Echtzeit zu verarbeiten. Die Mustererkennung, der Zugriff auf Tabellen innerhalb von Publikationen und die Forschung über ein breiteres Spektrum von Datensätzen ist jetzt viel einfacher.«
Die integrierten Tools wurden nach einem bestimmten Verfahren ausgewählt. Zunächst identifizierte die Europäische Kommission sieben gesellschaftlichen Herausforderungen: Gesundheit, Ernährung, Energie, Verkehr, Klima, Sozialwissenschaften und Sicherheit. Anschließend wurden die Tools danach ausgewählt, wie gut sie welchen Anforderungen entsprechen. Aufgaben wie »Message Passing« werden mit »Kafka« und »Flume« und die Lagerung mit »Hive« und »Cassandra« bearbeitet. Die Veröffentlichung erfolgt durch »geotriples«. Die Plattform nutzt das »Docker«-System, so dass es einfacher wird, neue Tools hinzuzufügen und auf einer Skala zu nutzen, die nur die Rechen-Infrastruktur einschränken kann.
Die Plattform wird gemeinsam mit den Benutzern weiter entwickelt
»Diese Plattform ermöglicht smartere Routenplanungen«, sagt Maxime Flament von ERTICO. »Nicht nur veröffentlichte Fahrpläne sind wichtig, sondern auch Straßenwartungspläne sowie Daten, die von Fahrzeugen in Echtzeit generiert werden.«
Prof. Dr. Sören Auer, Projektkoordinator am Fraunhofer IAIS, erklärt, dass die Plattform in der zweiten Hälfte des Projekts gemeinsam mit BenutzerInnen und den Projekt-Partnern im Hinblick auf die Anwendungsfälle verbessert und weiter entwickelt wird. Der nächste Schritt sei es, die Datenkonnektivität zu verbessern, indem Graphen-Technologien verwendet werden, um das Konzept des semantischen »Data Lake«, einer »Stack-Engine« und eine semantische Plattform für die Protokollierung und Integration der Cluster-Resilience einzuführen.
Für Neueinsteiger: »Es macht Spaß – probieren Sie es aus!«
Das Projekt bietet eine einfache Anleitung für die Installation der Plattform sowie einen Video-Guide für neue Nutzer. Die Benutzer und Benutzerinnen können Bilder gebrauchsfertig herunterladen oder eine »Dataflow Pipeline« erstellen, um eine vollständige Daten-Wertschöpfungskette mit Verwendung der verfügbaren Komponenten umzusetzen.
»Wir glauben, dass die Plattform die Einstiegsbarriere für neue Big-Data-Anwender sowie für WissenschaftlerInnen aus verschiedenen Bereichen verringert. Sie können mittels »Plug and Play« mit einer Vielzahl von Big-Data-Tools experimentieren. Es macht Spaß – probieren Sie es!«, so Ronald Siebes von der Vreij Universität Amsterdam, einer der Entwickler.
Weitere Informationen: www.big-data-europe.eu
Die Plattform kann hier heruntergeladen werden: https://github.com/big-data-europe
Über »Big Data Europe«
Big Data Europe ist ein Projekt des »Horizon 2020«-Rahmenprogramms der Europäischen Union. Ziel ist es, eine wissens- und innovationsbasierte Gesellschaft aufzubauen, die die Wettbewerbsfähigkeit der europäischen Wirtschaft stärken soll. Gemeinsam mit dem Fraunhofer IAIS nehmen die folgenden Institutionen und Unternehmen am Projekt teil: AgroKnow (GR), CESSDA (NO), Nationales Zentrum für Wissenschaftliche Forschung DEMOKRITOS (GR), ERCIM (FR), ERTICO-ITS Europe (BE) EU-Satellitenzentrum (ES), Ernährungs- und Landwirtschaftsorganisation der Vereinten Nationen FAO (IT), Institut für Angewandte Informatik (InfAI) eV (DE), Kentro Ananeosimon Pigon Ke Exikonomisis Energeias (Zentrum für Erneuerbare Energien), (GR), Nationalen und Kapodistrias-Universität Athen (GR), The Open PHACTS Stiftung (GB), Tenforce (BE), Semantic Web Company ( AT), VU Universität (NL) und W3C (FR).
Pressekontakte:
Alexandra Garatzogianni
Fraunhofer IAIS
Phone +49 2241 14-2974
Alexandra.Garatzogianni@iais.fraunhofer.de
Phil Archer
W3C/ERCIM
Phone +44 7887 767755
phila@w3.org