Als unabhängiger Entwickler und Berater ist dimajix ein starker Befürworter von Open Source. Wir glaube fest daran, dass offene Technologien nicht nur zu innovativeren und robusteren Lösungen führen, sondern auch eine strategische Notwendigkeit für Unternehmen und Regionen darstellen.
Open Source: Datensouveränität, Innovation und strategische Unabhängigkeitcs, BI, Machine Learning und KI
Warum Open Source im Datenumfeld so wichtig ist
In einer Welt, die zunehmend von Daten geprägt ist, ist die Kontrolle über diese Daten entscheidend. Open Source bietet hier signifikante Vorteile:
- Weniger Abhängigkeit, mehr Freiheit: Der Einsatz von Open Source reduziert die Bindung an einzelne Anbieter. Bei Unzufriedenheit oder veränderten Anforderungen können Sie leichter zu einem anderen Anbieter oder Dienstleister wechseln ohne gleich die Software selbst wechseln zu müssen. Sie sind nicht mehr „gefangen“ in proprietären Systemen.
- Transparenz und Kontrolle: Open Source ermöglicht den vollständigen Einblick in den Code von Anwendungen und Bibliotheken. Das ist besonders wertvoll bei der Fehlersuche, der Anpassung an spezielle Anforderungen oder der Überprüfung der Sicherheit. Sie wissen genau, was die Software tut und können sie bei Bedarf selbst verändern.
- Strategische Bedeutung für Europa: In einer zunehmend globalisierten Welt ist die digitale Souveränität ein wichtiges Thema. Open Source trägt dazu bei, die Abhängigkeit von Technologieanbietern aus anderen Staaten zu verringern und eine starke europäische Dateninfrastruktur aufzubauen.
Unsere Leidenschaft für Open Source in der Praxis
Wir engagieren und aktiv in der Open Source Community undsind stets darum bemüht, Lösungen mit quelloffener Software umzusetzen.
Darüber hinaus entwickeln wir selbst auch immer wieder größere oder kleinere quelloffene Werkzeuge, die unsere Arbeit erleichtert und von denen viele weitere Unternehmen und Anwender profitieren können.
So entstand in der Zusammenarbeit mit Unternehmen, die die strategischen Vorteile von Open Source Software erkannt haben, das komplett quelloffene Werkzeug Flowman , das auf Apache Spark basierend die Implementierung robuster Datenverarbeitungspipelines ungemein erleichtert.
Wichtige Open Source Werkzeuge im Datenumfeld
Gerade im Umfeld der Datenverarbeitung und -analyse gibt es ein breites Spektrum an Open Source Werkzeugen. Hier einige Beispiele:
Linux
Linux ist die wohl wichtigste Basis für die allermeisten Datenplattformen.
Apache Hadoop
Eines der Urgesteine für die verteilte Speicherung und Verarbeitung großer Datenmengen.
Apache Spark
Das führende Framework für die verteilte Datenverarbeitung und für die Integration unterschiedlicher Datenquellen.
Trino (vormals Presto)
dbt (data build tool)
Apache Airflow
Postgresql, MariaDB, MySQL
Pandas & SciKit Learn
PyTorch & Tensorflow
Wie dimajix Ihrem Unternehmen hilft
So schön Open Source in der Theorie ist, gibt es beim Einsatz dann doch einige wichtige Punkte zu beachten. dimajix hilft Ihnen dabei, die richtigen Komponenten mit dem notwendigen Support auszuwählen und im Unternehmen bereitzustellen.
Komeptenzen
- Unterschiede der Lizenzmodelle
Governance
- CVE Scanning
Stärken Entfalten
- Anbieterauswahl
