Unser Kunde implementiert eine globale Big-Data Plattform, die technologisch auf der Hortonworks Data Platform (HDP) aufbaut. Damit verfolgt er noch stärker als bisher innovative Ideen und Methoden im Bereich der Datenanalyse. ​Die höchste Priorität wurde auf eine möglichst kurze "Time to Value" gelegt. Gemeinsam mit unserem Kunden entwickelten wir effiziente und automatisierte Prozesse und eine auf den Einsatzzweck ausgelegte Hadoop-Architektur. Ein weiterer Aspekt war die Integration von Hadoop in die übergreifende Business Intelligence Landschaft.

  • Herstellen der Arbeitsfähigkeit neuer Projekte und Use-Cases in unter 3 Stunden
  • Integration neuer Datenquellen: von der Identifizierung bis zur Nutzung in maximal 24 Stunden
  • Etablierung eines "Single Point of Data Access": Data Scientists finden alle vorhandenen Daten (Big Data, DWH, SAP,...) in einer einzigen integrierten Oberfäche
  • Integration der Big-Data Platform in die Standard-Betriebsprozesse

Herausforderung

Die Investition in eine Big Data Platform zahlt sich nur mit richtiger Integration in das Unternehmen und effizienten Prozessen aus.

Mit Hilfe großer Datenmengen können Risiken heute besser erkannt, modelliert und versichert werden. Unser Kunde nutzt diese Chance, um zusammen mit Partnern neue Versicherungslösungen und Dienstleistungen zu entwickeln. Die erweiterte IT- und analytische Kompetenz soll konkret angewendet werden, z. B. in der Früherkennung und Trendanalyse von Feuerschäden. Notwendig dafür ist die erfolgreiche Integration einer globalen Big Data Platform, die alle Bereiche abdeckt

Ihre Experten

Lösung

Durch die Gesamtbetrachtung aller unterstützenden Prozesse und einem integrierten Lösungsansatz zum Projekterfolg.

Unser Auftrag umfasste die Konzeption aller Prozesse rund um den bestehenden Hadoop Cluster. Security, Resource Scheduling, Data Governance, Data Access und Data Ingestion. Die Implementation erfolgte als DevOps direkt über alle Environments.

Für jeden spezifischen Use-Case muss die optimale technische Lösung definiert werden. Jedes Werkzeug hat ideale Einsatzgebiete und Limitierungen. Wir kennen die mit vielen OpenSource-Produkten einhergehenden Herausforderungen und verfügen über tiefgehendes Verständnis zur Fehleranalyse und -beseitigung.

Mit Atlas und Hooks bei jedem relevanten Data Access stellen wir den Überblick und die Nachverfolgbarkeit über alle vorhandenen Daten her. Mit Kerberos, Tag-based Security in Ranger und Knox sorgten wir sowohl für Security als auch Data Privacy. Ob Real Time oder Batch Data, mit Kafka, Nifi, Sqoop sowie ETL Tools wie Talend integrierten wir Daten aus allen Quellen - öffentlich und intern, aus ERP Systemen Datenbanken und unstrukturierten Quellen.

Mehrwert

Durch effiziente Prozesse und Datentransparenz konnten Entwicklungszyklen von Big-Data Use-Cases stark reduziert werden.

Wir integrierten Hadoop in die Betriebsprozesse und sorgten mit der richtigen Technologie dafür, dass Use-Cases effizient und fokussiert implementiert werden können. Mit unserem Wissen über klassische Business Intelligence und relationale Datenbanken sowie das komplette hadoop Ökosystem unterstützen wir die Data Scientists bei allen Phasen der geplanten Usecases - von der Idee über die Entwcklung bis hin zur Implementierung und dem Staging in die Produktion.

Kontakt

Kai Niessen

T. +49 89 122219642
kai.niessen@ventum.de

Newsbeiträge ansehen

Dr. Christoph Römer

T. +43 15 3534220
office@ventum.com

Philipp Wiegel

T. +49 89 122219642
philipp.wiegel@ventum.de

Newsbeiträge ansehen

Sind Sie bereit für neue Perspektiven? You decide where you will go.

Alle Jobs anzeigen

Zum Weiterlesen

Das könnte Sie auch noch interessieren:

Erfolgsgeschichte

Datenmigration - eine unterschätzte Disziplin.

29.05.2018

Mehr erfahren

Agilität - Der Weg ist das Ziel!?

28.05.2018

Mehr erfahren

EAM: Wertschöpfend. Richtungsweisend. Unentbehrlich.

28.05.2018

Mehr erfahren