Dieser Blog wurde mitverfasst von Jorge Villamariona aus dem Produktmarketing und Mai Tong vom Technologie-Ökosystem

Einführung

Viele Unternehmen haben ihre Betriebsabläufe digitalisiert und die meisten von ihnen verlagern ihre Daten in die Cloud. Im Zuge dieser Transformation müssen Datenteams immer größere und komplexere Datensätze analysieren, damit die nachgelagerten Teams täglich schnellere und präzisere Entscheidungen treffen können. Folglich müssen die meisten Unternehmen mit Kundendaten, Produktdaten, Nutzungsdaten, Werbedaten und Finanzdaten arbeiten. Einige dieser Datensätze sind strukturiert, andere halbstrukturiert und wieder andere unstrukturiert. Kurz gesagt: Es fallen endlose Mengen an Daten unterschiedlicher Art aus verschiedenen Quellen in immer schnellerem Tempo an.

Angesichts des größeren Volumens, der Geschwindigkeit und der Vielfalt (allgemein bekannt als die „3 Vs“) von Big Data griffen die traditionellen Ansätze zur Verwaltung des Datenlebenszyklus allmählich zu kurz. Gleichzeitig und gegen Ende des ersten Jahrzehnts der 2000er Jahre begannen Softwareentwicklungsteams, agile Methoden für den Softwareentwicklungslebenszyklus zu übernehmen. Diese Methoden wurden als DevOps (Kofferwort aus Development und Operations) bekannt. Das folgende Diagramm veranschaulicht den DevOps-Prozess auf hoher Ebene.

DevOps-Prozess

In der Zwischenzeit haben sich Datenexperten ein Beispiel an ihren Kollegen aus der Softwareentwicklung genommen und begonnen, DevOps-Methoden und -Konzepte auf ihre eigenen komplexen Datenumgebungen anzuwenden. So entstand der DataOps-Ansatz.

Also, was ist DataOps?

DataOps ist die Praxis, Software- und Datenentwicklung, Qualitätssicherung und Infrastrukturbetrieb in einer einzigen, flexiblen Organisation zu bündeln. DataOps optimiert die Entwicklung und Bereitstellung von Datenanwendungen in Unternehmen. Es nutzt Prozessentwicklung, organisatorische Ausrichtung und verschiedene Technologien, um Beziehungen zwischen allen Beteiligten an der Produktion, Übertragung, Transformation und Nutzung von Daten zu ermöglichen: Entwicklern, Dateningenieuren, Datenwissenschaftlern, Analysten und Fachanwendern. DataOps fördert die Zusammenarbeit, beseitigt Silos und ermöglicht Teams die unternehmensweite Nutzung von Daten für fundiertere Geschäftsentscheidungen. Insgesamt unterstützt DataOps Teams dabei, Daten zu sammeln, aufzubereiten, zu analysieren und auf Basis eines vollständigen Datensatzes schnellere und präzisere Entscheidungen zu treffen. DataOps reduziert zudem Datenausfallzeiten oder -ausfälle durch die Überwachung der Datenqualität.

Welche Probleme löst DataOps?

DataOps befasst sich mit einer Reihe gängiger Herausforderungen in den Datenumgebungen Ihres Unternehmens, darunter:

1. Beseitigung von Silos und Förderung der Zusammenarbeit zwischen Teams: Dateningenieure, Wissenschaftler und Analysten müssen zusammenarbeiten. Es muss einen massiven Kulturwandel geben. Unternehmen müssen ihren Mitarbeitern die Möglichkeit geben, datenbasierte Ideen schnell umzusetzen.
2. Verbesserung von Effizienz und Agilität – Die Reaktion auf Fehler und Defekte kann durch eine stärkere Kommunikation und Zusammenarbeit zwischen den Teams und den Einsatz von Automatisierung drastisch minimiert werden.
3. Verbesserung der Datenqualität: DataOps bietet Datenexperten die Möglichkeit, Daten automatisch zu formatieren und verwendet mehrere Datenquellen, um Teams bei der Analyse der Daten und der Entscheidungsfindung zu unterstützen.
4. Vermeidung von Datenausfallzeiten und -ausfällen da die Datenqualität von den Datenteams überwacht wird.

Was ist Datenbeobachtung?

„Datenbeobachtung“ bietet die Tools und Methoden, um die Integrität der Unternehmensdaten über mehrere Tools und den gesamten Datenlebenszyklus hinweg zu überwachen und zu verwalten. Dank Datenbeobachtung können Unternehmen Probleme proaktiv in Echtzeit beheben, bevor sie sich auf die Geschäftsanwender auswirken.

Welche Beziehung besteht zwischen Datenbeobachtung und DataOps?

Datenbeobachtung ist ein Framework, das DataOps ermöglicht. DataOps-Teams nutzen agile Ansätze, um Geschäftswert aus Unternehmensdaten zu gewinnen. Probleme mit falschen oder ungenauen Daten können jedoch zu ernsthaften Herausforderungen führen, insbesondere wenn Probleme (auch bekannt als Datenausfälle) nicht erkannt werden, bevor sie sich auf das Geschäft auswirken. Glücklicherweise mit KI-gestützte Datenbeobachtung können Unternehmen Datenausfallzeiten erkennen, beheben und verhindern.

Tools zur Datenbeobachtung befassen sich mit Daten: Aktualität, statistische Verteilung, Volumen, Schema und Herkunft. Der richtige Einsatz von Tools zur Datenbeobachtung führt zu qualitativ besseren Daten, mehr Vertrauen und einer betrieblich ausgereifteren Umgebung.

Wer sind die Stakeholder bei DataOps?

Der Aufbau eines starken, zentralisierten Datenteams, das Beziehungen zwischen allen Abteilungen eines Unternehmens aufbaut, ist ein Schlüsselfaktor für die Erreichung der operativen Datenreife. Das Datenteam veröffentlicht in der Regel die relevantesten Datensätze und stellt so sicher, dass Entscheidungen, Analysen und Datenmodelle auf einer einzigen zuverlässigen Quelle basieren. Am anderen Ende des Spektrums stehen die Datenanalysten und Fachanwender, die diese Datensätze nutzen, indem sie Fragen stellen und Antworten aus den Daten extrahieren. Eine sorgfältige und gezielte Definition von Rollen und Verantwortlichkeiten hilft Unternehmen, Konflikte, Redundanzen und Ineffizienzen zu vermeiden.

DataOps-Personas

Hier sind die gängigsten Profile (auch Personas genannt), die am Datenlebenszyklus beteiligt sind:

• Dateningenieure: Diese Datenexperten erfassen die Daten und bauen die Pipelines auf, die sie von den Quellsystemen in die Datenspeicher bringen, damit Analysten und Datenwissenschaftler darauf zugreifen können. Nach der Bereinigung und Transformation der Daten veröffentlichen sie Kerndatensätze. Sie sind dafür verantwortlich, zeitnahe, saubere, kuratierte und für alle, die sie benötigen, zugängliche Daten bereitzustellen. In den meisten traditionellen Datenumgebungen erscheint das Akronym ETL (Extraction, Transformation and Loading) in ihrer Berufsbezeichnung.
• Datenwissenschaftler: Sie wenden ihre Statistikkenntnisse an, um prädiktive und präskriptive Modelle zu erstellen. Ihre gängigsten Umgebungen sind Scala, Python und R. Neben Statistik sind sie in der Regel Experten für Data Mining, maschinelles Lernen und Deep Learning. In der Finanzbranche werden sie beispielsweise aufgrund ihrer soliden mathematischen Kenntnisse traditionell als Quants bezeichnet.
• Datenanalysten/Business-Analysten: Sind Datenexperten, die in der Regel Teil von Geschäfts- oder Funktionsgruppen (Vertrieb, Marketing usw.) sind. Sie kennen die Arbeitsweise des Unternehmens, die strategischen Ziele und wissen, wo und wie Daten benötigt werden. Sie wandeln Geschäftsfragen in Datenabfragen um. Sie verfügen über ein tiefes Verständnis der Informationen und Kennzahlen, die Führungskräfte zur Messung und Erreichung ihrer Ziele benötigen. Sie sind Experten im Einsatz von Front-End-BI-Tools (Business Intelligence).
• D ata-Plattformadministratoren: Verwalten Sie die Infrastruktur so, dass sie reibungslos funktioniert, über ausreichend Kapazität verfügt und allen Abteilungen, die sie nutzen, eine hohe Servicequalität bietet. Sie sind verantwortlich für Transaktionsdatenbanken, Data Warehouses, Data Lakes, BI-Tools usw. Darüber hinaus legen Sie die Zugriffsrichtlinien fest, kontrollieren die Infrastruktur und die Lizenzkosten.
• Datenkonsumenten aus der Geschäftswelt: Sind die Endnutzer der Daten und nutzen diese in der Regel zur Entscheidungsfindung. Sie nutzen BI-Tools und sind dafür verantwortlich, basierend auf den Daten Maßnahmen zu ergreifen. Beispielsweise können Vertriebsleiter aufgrund der Vertriebsaktivität entscheiden, in einer bestimmten Region mehr zu investieren. Marketingmanager entscheiden möglicherweise, Kampagnengelder auf Grundlage von ROI-Kennzahlen bestimmten Kampagnentypen zuzuweisen.
• Datenschutzbeauftragter: Diese Person beaufsichtigt den gesamten Betrieb des Datenteams. Normalerweise berichtet sie dem CEO, CTO und manchmal dem CIO.

Stakeholder im DataOps-Prozess bei PagerDuty

Das obige Diagramm ordnet die Beteiligten ihrem traditionellen Verantwortungsbereich innerhalb des DataOps-Prozesses bei PagerDuty zu. Zweifellos wird es in verschiedenen Organisationen unterschiedlich starke Überschneidungen geben.

DataOps bei PagerDuty

Bei PagerDuty haben wir eine DataOps-Praxis implementiert, die PagerDuty und einige unserer Technologiepartner nutzt. Durch die Anwendung der PagerDuty und DataOps-Prinzipien konnten wir:

• Wechseln Sie von mehreren Data Warehouses zu einem einzigen Data Warehouse, in dem Datensätze aus MuleSoft-, Segment-, Fivetran-, Kafka- und Spark-Pipelines in einer einzigen Quelle der Wahrheit konsolidiert werden.
• Erfüllen Sie Daten-SLAs aus mehreren Daten-Workloads, indem Sie die Vorteile von Automatisierungs- und Datentechnologiepartnerschaften nutzen.
• Nutzen Sie die Beobachtbarkeit zur Erkennung, Lösung und Prävention von Vorfällen mit unseren Daten – bevor die Benutzer davon erfahren.
• Verlagern Sie den Fokus des Datenteams von administrativen Aufgaben auf datengesteuerte Erkenntnisse und Datenwissenschaft.
• Machen Sie unsere Datenumgebung zukunftssicher, um den Anforderungen der zunehmenden Datenanwendungsfälle gerecht zu werden. Diese reichen von BI bis hin zu neuen Anwendungen der künstlichen Intelligenz (KI) von über 400 internen Benutzern in mehreren Abteilungen und Tausenden von Kunden.

DataOps-Umgebung bei PagerDuty

Das obige Diagramm zeigt einige der wichtigsten Komponenten unserer DataOps-Umgebung. Obwohl die Datenanforderungen und die Datenumgebung jedes Unternehmens individuell sind, können Sie erkennen, dass unsere Probleme und unsere Architektur nicht so einzigartig sind (mehrere Data Warehouses, mehrere ETL-Tools, strenge SLAs, enormer Bedarf an Datensätzen). Höchstwahrscheinlich erkennen Sie bereits mehrere gemeinsame Probleme auf hoher Ebene sowie architektonische Ähnlichkeiten mit Ihrer eigenen Datenumgebung.

Sie können PagerDuty auch in Ihrer DataOps-Umgebung nutzen

Die digitale Betriebsplattform PagerDuty benachrichtigt Datenteams sowie nachgelagerte Datennutzer und -konsumenten, sobald Datenprobleme auftreten, um Datenausfälle zu vermeiden. Wir freuen uns, unsere sechs aktuell veröffentlichten DataOps- bzw. datenbezogenen Integrationen in unserem Ökosystem bekannt zu geben. Diese Technologiepartner lösen unternehmensweit Probleme mit der Datenpipeline und der Datenqualität. Sie verbessern die Zusammenarbeit, reduzieren Reibungsverluste und reduzieren Datenausfälle durch eine bessere Abstimmung:

• Monte Carlo : Bietet End-to-End-Datenbeobachtung und behebt Datenausfallzeiten, bevor sie auftreten.
• Aufleuchten : Hilft Unternehmen, eine hervorragende Datenqualität im Cloud-Maßstab zu erreichen.
• Arize : Eine Beobachtungsplattform für maschinelles Lernen (ML) zum Überwachen, Beheben und Lösen von Problemen mit ML-Modellen.
• WhyLabs : Verhindert kostspielige KI-Ausfälle durch Daten- und Modellüberwachung
• Präfekt : Erstellen und überwachen Sie Datenpipelines mit Echtzeit-Warnmeldungen
• Astronom : Reduziert Datenausfallzeiten durch Echtzeit-Datenüberwachung von Pipelines

PagerDuty DataOps-Ökosystem

Die neuen DataOps-Integrationen mit PagerDuty decken wichtige Bereiche ab, wie z. B. Datenpipeline-Orchestrierung, Test- und Produktionsqualität, Bereitstellungsautomatisierung und Data Science/ML-Modellmanagement. Wir empfehlen Ihnen, PagerDuty zusammen mit einigen dieser Funktionen auszuprobieren. PagerDuty -Ökosystem Technologiepartner, die Ihnen helfen, eine engere Zusammenarbeit zwischen funktionsübergreifenden Teams zu fördern und bessere und schnellere Entscheidungen mit weniger Datenausfallzeiten zu treffen. Ebenso Wenn Sie über die Erstellung einer PagerDuty Integration nachdenken, melden Sie sich bitte für eine Entwicklerkonto um loszulegen.