Handfestes Know-how, Tipps & Tricks und die Insights unserer Datenprofis findest Du hier in unseren Blogbeiträgen
Openflow von Snowflake macht die Datenintegration schneller, einfacher und effizienter. In diesem Artikel zeigen wir, wie sich diese Vorteile in der Praxis auswirken. Anhand eines echten Beispiels werden Strategien für die einfache und leistungsstarke Verarbeitung großer Mengen kleiner, eingehender Dateien vorgestellt.
Dieser Blogbeitrag beantwortet zwei Fragebereiche:
Große Teile an bisher manueller Programmierung können durch DWA-Tools abgelöst oder zumindest stark vereinfacht werden. Welche Teile der Entwicklung dabei genau automatisiert werden können, kann von Tool zu Tool stark differieren. So gibt es Ansätze von reinen Code-Generatoren, mithilfe derer Datenbankstrukturen und ETL-/ELT-Prozesse automatisch generiert werden können („design-time“). Auf der anderen Seite existieren umfangreiche Integrationssuiten, die den gesamten DWH-Lebenszyklus, von der Bereitstellung der Daten in den Quellen bis hin zu den Data Marts, generieren, aber auch verwalten können („run-time“).
Bei der Entwicklung gibt es eine Reihe von Aufgaben, bei denen ein DWA-Tool unterstützen kann. Im Folgenden wird insbesondere auf die Bereiche Reverse Engineering und Kompatibilität, Analyse, Implementierung und Rahmenbedingungen eingegangen.
Durch die verstärkte Nutzung des Internets und des Smartphones ändert sich zunehmend auch das Konsumentenverhalten der User. Mit zunehmender Digitalisierung der Kanäle und Touchpoints ist der Kunde heute besser denn je informiert und damit schwerer zu fassen. Das Konsumentenverhalten auch digital einzufangen, auszuwerten und zu verstehen, dazu muss der Marketingverantwortliche heute zielgenaue Segmente bilden und eine darauf abgestimmte Strategie für potentielle Customer Touchpoints erstellen, um den Kunden auf dem richtigen Kanal zum richtigen Zeitpunkt mit dem richtigen Angebot anzusprechen und ihn auf der anderen Seite nicht mit E-Mails oder Push-Nachrichten zu überfluten.
Gerade im Umfeld von HCM und den Infotyp-Tabellen werden häufig Fullloads für eine Versorgung eines SAP BW genutzt, da eine eindeutige Erkennung von Änderungen (CRUD – Create, Read, Update und Delete) im Quellsystem nicht möglich ist. Zum Beispiel sind Termine (Infotyp 0019) nicht mit einer vollständigen Gültigkeit versehen, sodass bei einer Löschung kein neuer Datensatz erstellt wird, der diesen Zeitraum überschreibt. Im Quellsystem könnte der Einsatz vom SLT/RS (SAP Landscape Transformation/Replication Server) mit seiner Trigger-basierten Erkennung von Änderungen auf Datenbankebene jede einzelne Anpassung an den Daten überwachen. Allerdings ist ein Einsatz aufgrund der verhältnismäßig geringen Datenmenge nicht unbedingt notwendig und auch eine Änderungsverfolgung wäre an dieser Stelle „übertrieben“. (Bitte beachten Sie, dass der SLT/RS zum Teil in aktuellen SAP-BW-Lizenzpaketen mit enthalten ist und somit häufig genutzt werden kann, jedoch eine Installation auf dem Quellsystem benötigt.)
Im ersten Teil dieses Blogs ging es darum, möglichst einfach eine CSV-Datei nach Avro zu serialisieren und das Ergebnis in Kafka abzulegen, wobei das Schema in der Schema-Registry registriert werden sollte.
Ein wichtiger Baustein für ein Planungssystem ist der Umgang mit dem Thema Intercompany (IC). IC tritt immer dann auf, wenn unterschiedliche Wirtschaftseinheiten eines Unternehmensverbundes untereinander Waren oder Dienstleistungen austauschen. Die daraus resultierenden Aufwände und Erträge, aber auch Forderungen und Verbindlichkeiten müssen transparent und gegeneinander abgrenzbar sein. Da die Planung durch eine Vielzahl von Planungsteilnehmern durchgeführt wird, ist die IC-Abstimmung und auch die darauffolgende IC-Eliminierung nicht trivial.
Auch in modernen Umgebungen ist CSV noch ein häufig anzutreffendes Austauschformat, da viele bestehende Systeme mit moderneren Alternativen nicht umgehen können. Zur Weiterverarbeitung in einer Big-Data-Umgebung sind jedoch andere Formate besser geeignet. Im Zusammenhang mit Kafka ist das vor allem Avro. Avro bietet ein platzsparendes Datenformat mit vielen Features, in dem das Datenschema ebenfalls mit übertragen wird. Um die Handhabung zu verbessern, kann zudem das Schema in einem Schema-Repository registriert werden.
Interaktionen mit Kunden im Bereich der Energieversorgung sind selten – ein einziger Kontakt im Jahr ist keine Seltenheit. Entsprechend wichtig ist die bestmögliche Steuerung des Kontakts. Im Fokus des vorliegenden Projekts steht der Kommunikationskanal Inbound-Call-Center.
Die Welt der mittelständischen Unternehmen bewegt derzeit vor allem ein Thema: Industrie 4.0. Denn der Druck wächst enorm, da der Anschluss an die Digitalisierung nicht verpasst werden darf, um auch langfristig erfolgreich am Markt interagieren zu können. Was die meisten Unternehmen aber nicht wissen: Es müssen nicht sämtliche internen Abläufe über Bord geworfen werden, um bei den Themen Big Data und Industrie 4.0 mithalten zu können. Viel wichtiger ist es, sich die Neugier seiner eigenen Mitarbeiter zu Nutze zu machen und die Datenkultur in alle Abteilungen zu tragen. Erfahren Sie in diesem Blogbeitrag, wie auch Sie den Wandel zur Digitalisierung Schritt für Schritt meistern können.
Die Behauptung „Python ist keine typisierte Sprache“ erhöht meinen Puls mittlerweile genauso wie das vor vielen Jahren übliche „Python ist nur eine Scriptsprache“.Man muss nur schnell eine Python-Konsole öffnen und 1+"1" eingeben. Das Ergebnis ist nicht, wie z. B. bei PHP, eine 2, sondern ein TypeError. Python ist sehr wohl stark typisiert und unterscheidet zudem auch noch zwischen mutable und immutable types. Da der Code in Python erst zur Laufzeit kompiliert wird, fällt der gerade genannte Additionsfehler an sich nicht beim Programmieren, sondern erst bei der Ausführung auf.
Wenn ein BW-System eine SAP-HANA-Datenbank im Einsatz hat, ist es möglich, die sogenannten „Mixed Scenarios“ zu nutzen. Bei solchen Szenarien kann man Daten zusammenspielen, die sowohl im BW-System als auch in SAP HANA mit SAP-HANA-Werkzeugen modelliert wurden.
Mit der neuen Funktionalität „zellbasierte Eingabesteuerung“ ist es möglich, zellbasiert das Eingabeverhalten in Longview zu steuern. Sobald die Funktionalität aktiviert wurde, kann über ein Referenzobjekt die manuelle Eingabe sowie das Kopieren und das Einfügen gesperrt bzw. freigegeben werden.