Mathias Höreth
16.6.2025
16.6.2025
16.6.2025
Mit Openflow vereinfacht Snowflake die Datenintegration grundlegend: Extraktion und Laden erfolgen als Bestandteil der Snowflake Plattform – ganz ohne externe ETL-Tools. Damit sinkt der Integrationsaufwand deutlich, und das komplette Pipeline-Management wird erheblich schlanker und effizienter.
Openflow ist Snowflakes neue Lösung für Unternehmen: eine offene, erweiterbare und sichere Datenintegrationsplattform, die den Echtzeit- und bidirektionalen Datenaustausch innerhalb von Snowflake ermöglicht. Damit schließt Openflow eine wichtige Lücke, denn bisher war die Extraktion und das Laden von Daten in Snowflake oft auf Drittanbietertools wie Fivetran, Airbyte oder andere ETL-Lösungen angewiesen. Diese zusätzlichen Tools machten die Technologie- und Wissenslandschaft unnötig komplex und erhöhten den Integrationsaufwand, da mehrere Werkzeuge oder individuelle Skripte notwendig wurden. Durch die vollständige Integration innerhalb von Snowflake entfällt nun der Kontextwechsel zwischen verschiedenen Systemen, und das gesamte Management der Datenpipelines wird deutlich schlanker und effizienter. Technisch basiert Openflow auf Apache NiFi, kombiniert dessen Stärken aber mit der Sicherheit, Governance und Benutzerfreundlichkeit von Snowflake. In diesem Artikel erfährst Du alles, was Du über Openflow wissen musst.
Openflow basiert auf Apache NiFi 2.0 – einem leistungsstarken Open-Source-Tool für die Automatisierung von Datenflüssen zwischen unterschiedlichen Systemen. NiFi bietet Dir eine zuverlässige und benutzerfreundliche Plattform, mit der sich Daten bewegen und transformieren lassen – ohne komplizierte Programmierung.
Eine von NiFis herausragenden Eigenschaften ist die intuitive Web-Oberfläche: Hier kannst Du per Drag-and-Drop komplette Datenflüsse designen und mit verschiedenen Prozessoren an Deine Anforderungen anpassen. NiFi ist skalierbar, unterstützt alle gängigen Datentypen, lässt sich mit nahezu jedem System verbinden und bietet jederzeit volle Transparenz und Sicherheit entlang Deiner gesamten Pipeline.
Apache NiFi deckt dabei sowohl das Ingest (Datenaufnahme) als auch die Transformation ab – und vereint damit klassische ETL-Funktionalität mit den Vorteilen moderner Streaming-Plattformen:
Gerade diese beiden Funktionen machen NiFi extrem vielseitig für unterschiedlichste Integrationsszenarien. Es kann Daten effizient aufnehmen, verarbeiten, transformieren und innerhalb komplexer Architekturen weiterleiten — und das über die gesamte Datenpipeline hinweg, inklusive aller klassischen Extract-Transform-Load-(ETL)-Prozesse.
Snowflake setzt hier noch einen drauf: mit integrierter Sicherheit, Governance und einfacher Bedienung. Dabei ist Openflow als cloud-native, komplett verwalteter Service konzipiert, der in den Snowflake-Containern oder in Deiner eigenen Virtual Private Cloud (VPC) betrieben werden kann.
Snowflake beschreibt Openflow als "vollständig verwalteten, globalen Data-Integration-Service, der jede Datenquelle mit jedem Ziel verbindet – mit hunderten Prozessoren und Konnektoren für strukturierte und unstrukturierte Daten wie Text, Bilder, Audio, Video und Sensordaten (basierend auf Apache NiFi 2.0)."
Openflow ist aus der Vogelperspektive in zwei zentrale Bestandteile aufgeteilt: der Control Plane und der Data Plane. Die Data Plane übernimmt die eigentlichen Datenverarbeitungsprozesse. Beide Ebenen arbeiten dabei nahtlos zusammen, um sicherzustellen, dass Daten gemäß den definierten Regeln und Flussdesigns verarbeitet werden. Die Control Plane steuert dabei die Abläufe, die in der Data Plane ausgeführt werden.
Da Openflow hybride Deployments unterstützt, kann die Data Plane entweder in Snowflakes Container Services (SPCS) oder in Deiner eigenen VPC betrieben werden. Auch On-Premises-Deployments stehen bereits auf der Roadmap. Das kann in Situationen sinnvoll sein, in denen Daten aufgrund von Compliance-Vorgaben oder Latenzanforderungen in einem bestimmten Netzwerk bleiben müssen.
Die Openflow Control Plane ist dafür verantwortlich, die Flusskonfigurationen zu verwalten und die gesamte Orchestrierung der Datenprozesse zu steuern. Dazu gehören Aufgaben wie die Verwaltung der Data Planes und Runtimes, der Konnektoren-Katalog sowie sämtliche Services rund um die Überwachung — etwa das Monitoring von Performance, Systemzustand und Statistiken über den gesamten Datenfluss hinweg.
Die Data Plane kümmert sich um den tatsächlichen Datenfluss und die Datenverarbeitung. Hier wird gesteuert, wie die Daten gesammelt, transformiert und zwischen den Systemen bewegt werden. Dabei kommen Prozessoren zum Einsatz, die Aufgaben wie Transformation, Filterung, Anreicherung und Routing übernehmen.
Für die Interaktion mit externen Systemen nutzt Openflow Konnektoren, die eine nahtlose Kommunikation mit Datenbanken, Messaging-Systemen, Filespeichern und anderen Systemen ermöglichen.
Openflow liefert dabei nahezu 300 Prozessoren, die sich auf verschiedene Kategorien verteilen: Datenextraktion, Transformation, Laden, Routing & Mediation, Monitoring & Reporting sowie Utility-Funktionen. Da die Runtimes die eigentlichen Ausführungsorte darstellen, wird es — abhängig von Deinem Setup, der Teamstruktur und den Projekterfordernissen — oft sinnvoll sein, mehrere Runtimes parallel zu betreiben.
Bereits ab Werk bietet Openflow Dir eine große Auswahl an fertigen Konnektoren, die sich zentral verwalten und jederzeit erweitern lassen. Egal ob SQL-Datenbanken, SaaS-Anwendungen, Streaming-Plattformen oder IoT-Daten: Openflow deckt praktisch alle Integrationsszenarien ab.
Und falls Dir doch mal ein Spezialkonnektor fehlt: Dank der offenen Architektur kannst Du eigene Konnektoren entwickeln und nahtlos integrieren.
Openflow ist von Grund auf so konzipiert, dass es nicht nur den Ingestion-Teil Deiner Daten aus externen Quellen durchführt, sondern vollständige Datenpipelines unterstützt. Obwohl es sich am besten für den Ingestion-Bereich eignet, kann es auch Transformationen wie Cortex oder SQL-Prozessoren ansteuern, um Transformationen direkt innerhalb der Snowflake durchzuführen, unabhängig von der Umgebung, in der Du Openflow betreibst (SPCS, VPC oder On-Prem).
Darüber hinaus kann Openflow sowohl für die Datenübernahme nach Snowflake (Ingress) als auch für die Datenweitergabe aus Snowflake heraus (Egress) eingesetzt werden, um andere Systeme mit Daten zu versorgen. Openflow bietet dabei die Freiheit, mit jedem System als Quelle oder Ziel zu integrieren.
Openflow ermöglicht dadurch zahlreiche Anwendungsfälle:
In unserer Referenzarchitektur, die ausschließlich auf Snowflake-Services basiert, fügt sich Openflow perfekt ein — sowohl als Extraktions- und Ingestionskomponente, als auch als Datendienst zur Versorgung anderer Systeme, dank seiner großen Vielfalt an Konnektoren. Es bietet exzellente Möglichkeiten, Daten aus verschiedenen Systemen zu extrahieren, flexibel zu filtern, zu aggregieren und die Daten vorzuverarbeiten — und das alles bei sehr hohem Durchsatz und für unterschiedlichste Datenarten.
Um Deine Daten effektiv in Snowflake zu laden, bietet Snowflake mehrere Ladepatterns an:
Mit der Drag-and-Drop-Oberfläche von Openflow kannst Du innerhalb kürzester Zeit einen kompletten, produktiven Datenfluss erstellen, der echten Business-Mehrwert liefert.
Das Screenshot-Beispiel zeigt einen funktionierenden Datenfluss in nur drei Schritten:
Openflow bündelt Deine komplette Datenintegration auf einer Plattform. Du bleibst flexibel, kannst nahezu jede Datenquelle und jedes Zielsystem anbinden und profitierst von fast grenzenlosen Möglichkeiten in der Datenbewegung. Ob als moderne Alternative zu bestehenden Extraction- und Ingestion-Tools oder als vollwertiges ETL-System: Openflow deckt ein breites Spektrum ab. Und dank der offenen Architektur integrierst Du problemlos auch externe Systeme oder eigene Tools.
Dabei ist Openflow mehr als NiFi as a Service. Es ist cloud-native, skaliert elastisch, bietet umfassende Systemanbindungen — sowohl integriert als auch Snowflake-optimiert —, unterstützt KI-Anwendungen durch die Verarbeitung multimodaler Daten, bindet Snowflakes Cortex AI Services direkt ein – und vieles mehr.
Stehst Du aktuell vor der Herausforderung, Deine Datenintegration effizienter aufzustellen? Dann lass uns sprechen. Gemeinsam finden wir die passende Lösung für Dein Unternehmen!
Domain Lead Data Platform & Data Management
Domain Lead Data Platform & Data Management
Du willst den IoT Core durch eine Multi-Cloud-Lösung ersetzen und die Vorteile weiterer IoT-Services von Azure oder Amazon Web Services nutzen? Dann melde Dich bei uns und wir unterstützen Dich bei der Umsetzung mit unserer Expertise und dem b.telligent Partnernetzwerk.
Exasol ist ein führender Hersteller von analytischen Datenbanksystemen. Das Kernprodukt ist eine auf In-Memory-Technologie basierende Software für die professionelle, parallele und schnelle Datenanalyse. Normalerweise werden SQL-Statements in einem SQL-Skript sequenziell abgearbeitet. Wie können aber mehrere Statements gleichzeitig ausgeführt werden? Dies zeigen wir anhand eines einfachen Skripts in diesem Blogbeitrag.
Viele Unternehmen mit SAP-Quellsystemen kennen diese Herausforderung: Sie wollen ihre Daten in einen Azure Data Lake integrieren, um sie dort mit Daten aus anderen Quellsystemen und Applikationen für Reporting und Advanced Analytics weiterzuverarbeiten. Auch die neuen SAP-Informationen zur Nutzung des SAP-ODP-Frameworks führten bei b.telligent Kunden zu Fragen. In diesem Blogbeitrag stellen wir drei gute Ansätze zur Datenintegration (in die Microsoft Azure Cloud) vor, die wir bei b.telligent empfehlen und die von der SAP unterstützt werden.
In Teil 1 fassen wir die Anforderungen der Kunden zusammen.
Viele Unternehmen entscheiden sich im Rahmen ihrer aktuellen Modernisierung- und Digitalisierungsinitiativen, ihr Datawarehouse (DWH) oder auch ihre Datenplattform in die Cloud zu heben. Dieser Beitrag diskutiert aus fachlicher/organisatorischer Sicht, welche Aspekte dafür besonders wichtig sind und welche Strategien dabei helfen, etwaige Risiken zu minimieren. Eine Migration sollte nicht als rein technische Übung verstanden werden. "Weiche" Faktoren und Fachlichkeit haben einen deutlich höheren Einfluss.
Kein vorheriger Beitrag
Kein nächster Beitrag