Viele Unternehmen befinden sich derzeit in einem Umbruch hin zu datengetriebenen Prozessen, die Entscheidungen mit aus Daten gewonnener Informationen fundieren und sogar automatisieren.
Rohdaten in Wissen Umwandeln
Projekte von dimajix beinhalten alle notwendigen Schritte um Rohdaten in die unternehmensrelevanten Informationen zu transformieren. Die gesamte Prozesskette umfasst den Import der Daten (z.B. aus Ihrer SQL Datenbanken), die Aufbereitung und initiale Transformation in ein für Analysen geeignetes Datenmodell, etwaige Anonymisierungen bis hin zur Datenanalyse mit Hilfe statistischer Verfahren und Machine Learning.
Bei großen Datenmengen erfolgen diese Analysen üblicherweise mit Hilfe von Hadoop, ansonsten greifen wir auf andere Werkzeuge zurück, die auch auf lokalen Rechnern laufen.
Machine Learning
Eine zentrale Rolle bei der Transformation hin zu automatisierten datengetriebenen Prozessen kommt dem Einsatz geeigneter Verfahren aus dem Bereich Machine Learning ein. Die Beherrschung dieses mächtigen Werkzeugkastens setzt sowohl ein tiefgehendes theoretisches Verständnis der vielfältigen Verfahren vorraus, als auch gleichzeitig solide Kenntnisse in in der Software-Entwicklung, um die Theorie in die Praxis Umsetzen zu können.
