Blog

Polars: schneller entwickeln, schneller ausführen

‍Polars, der in Rust geschriebene Pandas-Herausforderer, sorgt für erhebliche Beschleunigung nicht nur in der Ausführung des Codes, sondern auch in der Entwicklung. Pandas krankt seit jeher an einer API, die an vielen Stellen „historisch gewachsen“ ist. Ganz anders Polars: Eine API, die von Anfang an auf logische Konsistenz ausgelegt ist und deren Stringenz mit jedem Release sorgfältig gepflegt wird (im Zweifelsfall auch unter Verlusten an Rückwärtskompatibilität), sorgt für eine erheblich schnellere Entwicklung. An vielen Stellen, wo man bisher Pandas eingesetzt hat, kann man es problem los durch Polars ersetzen: In Ibis-Analytics-Projekten, und natürlich einfach für die tägliche Datenaufbereitung aller Art. Gut macht sich die überlegene Performance auch in interaktiven Umfeldern wie PowerBI .

Viele Unternehmen entscheiden sich im Rahmen ihrer aktuellen Modernisierung- und Digitalisierungsinitiativen, ihr Datawarehouse (DWH) oder auch ihre Datenplattform in die Cloud zu heben. Dieser Beitrag diskutiert aus fachlicher/organisatorischer Sicht, welche Aspekte dafür besonders wichtig sind und welche Strategien dabei helfen, etwaige Risiken zu minimieren. Eine Migration sollte nicht als rein technische Übung verstanden werden. "Weiche" Faktoren und Fachlichkeit haben einen deutlich höheren Einfluss.

Was sind MLOps?

Machine Learning Operations (MLOps) sind eine Praxis für die Zusammenarbeit und Kommunikation zwischen Datenwissenschaftler:innen und Betriebsexpert:innen, um die Lebenszyklen von Machine Learning (ML) in der Produktion zu verwalten. Dabei werden die Grundsätze von DevOps in den ML-Lebenszyklus einbezogen, um den Prozess von der Modellentwicklung bis zur Bereitstellung und Überwachung zu rationalisieren und zu automatisieren. Ziel von MLOps ist es, ML-Modelle auf strukturierte und effiziente Art und Weise schneller bereitzustellen und zu skalieren.

Aktuell stehst Du wahrscheinlich wie viele unserer Kunden vor derselben Herausforderung: die optimale Integration mit SAP Business Warehouse (SAP BW) als Datenquelle in Microsoft Power BI. Dieses Vorhaben gestaltet sich nicht immer unkompliziert und erfordert eine sorgfältige Berücksichtigung verschiedener Einflussfaktoren, potenzieller Herausforderungen sowie die Betrachtung möglicher Performance-Stellschrauben.

Wir haben uns intensiv mit dem Thema der Integration von Power BI mit SAP BW beschäftigt und unsere Erfahrungen, Best Practices sowie Einschränkungen in einem umfangreichen Leitfaden aufgeschrieben. In diesem Blog möchten wir Dir einen kurzen Einblick in das Thema geben.

Fehlende Ressourcen oder technische Herausforderungen sind häufig Blockaden, wenn es darum geht, den Wertbeitrag und die Machbarkeit eines IoT Use Cases zu ermitteln und späteren Projektsponsoren vorzustellen. Selbst simple IoT Use Cases benötigen teils Wochen anstatt Tage, um greifbare Ergebnisse hervorzubringen. Wir möchten im Rahmen dieses Blockbeitrags unsere IoT-Kickstarter-Plattform aufzeigen, die es ermöglicht, „einfache“ IoT Analytics Use Cases innerhalb weniger Tage unter technischen Gesichtspunkten zu verproben.

Der PoC ist gemacht, ein produktionsreifes Modell wurde trainiert und der Showcase hat alle Stakeholder:innen begeistert. Doch damit sich nun auch Business Cases mit dem Modell realisieren lassen, bedarf es einer Einbettung des Modells (und der Prozessierung) in die bestehende (Cloud-)Landschaft.

Microsoft präsentiert IoT Operations als eine „Reihe modularer, skalierbarer und hochverfügbarer Dienste“, die mittels Azure Arc und Kubernetes betrieben werden. Natürlich ist auch eine native Integration anderer Microsoft Services enthalten, wie Event Hub oder Fabric, das seit November 2023 allgemein verfügbar ist. Dieser Blogbeitrag gibt einen Überblick über die Features sowie das Deployment des neuen Azure Services.

In diesem ersten Teil unserer Blogbeitragsreihe zum neuen Azure IoT Operations Service werden zunächst die Features und Vorteile gegenüber bestehenden Lösungen sowie das Deployment des Services beleuchtet. Im zweiten Teil wird anschließend die Konfiguration sowie die Integration von Microsoft Fabric exemplarisch vorgestellt.

Es ist beschlossene Sache: Der Digitale Produktpass (DPP) kommt. Das ist viel Aufwand, aber auch eine Riesenchance für Marketing und Vertrieb! Im Zuge der geplanten Ökodesign-Verordnung verpflichtet die EU ab 2027 Unternehmen nahezu aller Branchen, die Waren und Produkte in der EU herstellen, in Betrieb nehmen oder verkaufen, zur Einführung des DPP. Expert:innen gehen davon aus, dass künftig jährlich EU-weit fünf Billionen DPP ausgestellt werden. Diese Zahl lässt erahnen, welche Tragweite die Entscheidung der EU mit sich bringt. Es wird noch geklärt, welche gesetzlichen Pflichtangaben der DPP enthalten muss. Aber eins ist bereits klar: Der DPP wird die Wirtschaft massiv verändern – und bietet dabei einen völlig neuen Touchpoint zum Kunden.

Mit dem Q2 2023 Update „New Optimized Story Experience – Unified Stories and Applications“ bietet die SAP Analytics Cloud Nutzer:innen neue Wege, um noch flexibler und leichter in einer integrierten Designumgebung Berichte und Dashboards zu entwickeln. Wir zeigen Dir hier, welche neuen Features das Update mit sich bringt und wie es Dich beim Erstellen von Berichten unterstützt.

Microsoft Fabric ist nun allgemein verfügbar! Wo macht jetzt schon eine Migration Sinn?

Die neue SaaS-Lösung von Microsoft hat das Potenzial, die Datenwelt zu verändern. Doch lohnt sich jetzt schon eine Migration? Wenn ja, wie geht man am besten vor? Lakehouse oder Warehouse? Und was muss man beim OneLake alles beachten? Wo sind aktuelle Hürden? Und was ist mit Azure Synapse? Das alles möchten wir euch in diesem Beitrag zeigen.

Die wichtigste Nachricht für alle Azure-Synapse-Kunden zuerst: Synapse wird weiterhin voll unterstützt, ist nicht abgekündigt, und Microsoft hat auch keine Pläne, dies zu tun! Wo es sich dennoch lohnt, einen Blick in die Zukunft zu werfen, erfahrt ihr hier.

Seit der Einführung von ChatGPT Ende 2022 sind wir alle von den Möglichkeiten der generativen KI und Large Language Models (LLMs) begeistert. Was die Leute faszinierte, war die unglaubliche Leichtigkeit, mit der qualitativ hochwertige Texte, Antworten auf Fragen, Codefragmente usw. generiert werden können. Alles, was man braucht, ist eine Eingabeaufforderung, d. h. eine Texteingabe, die man in die ChatGPT-API einspeist, und voilà, man erhält seine Antwort. Wir befinden uns immer noch in dem Hype um die generative KI, bei dem die Vorteile einer Technologie überbewertet werden. Für Unternehmen ist es wichtig, die Fallstricke zu vermeiden und zu verstehen, wann und wie sie ChatGPT oder generative KI-Lösungen einsetzen sollten. In diesem Blogbeitrag blicken wir über den Hype hinaus und zeigen einen Ansatz zur Evaluierung und Implementierung von LLM-basierten Gen-KI-Anwendungsfällen.

Als AWS Advanced Partner wollen wir in diesem Blog unsere Erkenntnisse im Kontext Data- und Analytics-Lösungen regelmäßig dokumentieren und mit AWS-Interessierten teilen. AWS stellt als Cloud-Provider mit seinem Ökosystem und seinen Services Lösungen für uns und unsere Kunden bereit, die für eine moderne Datenarchitektur sehr gut genutzt werden können. Ziel ist hierbei nicht die Wiederholung von allgemein zugänglichen AWS-Dokumentationen. Es wird hierbei vielmehr darum gehen, unsere technischen und fachlichen Erfahrungen verdichtet zu „Papier“ zu bringen.

Diese Blogreihe startet mit der Fragestellung: „Sizing einer Redshift-Datenbank für ein Cloud-DWH“.