„PagerDuty ist seit langem das Standardwerkzeug im DevOps-Bereich, die gleiche Vorgehensweise, die wir auch im DataOps-Bereich anwenden, wo all diese Teams Signale an ein einziges Tool senden und wir so in der Lage sind, mehrere Signale zu korrelieren.“

Vorbei sind die Zeiten, in denen Daten in Batches in ein Data Warehouse geladen wurden, um Business-Intelligence-Berichte zu erstellen, die regelmäßig ausgewertet wurden und bei denen im Fehlerfall nur wenige Mitarbeiter warten mussten. Heutzutage sind Datenpipelines ungleich komplexer, mit deutlich mehr Datenquellen – von Cloud-Diensten bis hin zu On-Premise-Systemen – und unterstützenden Datenanwendungen, die kritische Bestandteile des Ökosystems eines Unternehmens darstellen.

In dieser Folge unterhält sich Dormain Drewitz mit Manu Raj, Senior Director of Analytics and Data Engineering bei PagerDuty, und James Zhao, Senior Product Manager bei Snowflake, darüber, wie sich DataOps weiterentwickelt hat und warum es für die Unterstützung großer Sprachmodelle (LLMs) in der Produktion unerlässlich sein wird.

Genannte Ressourcen:
– Blog: Das Potenzial von Snowflake Alerts und PagerDuty Operations Cloud ausschöpfen: Datenoperationen optimieren | von Ravi Kumar | Juni 2023 | Medium
– Andreessen Horowitz: Neue LLM-Architekturen

Zusammenfassung erstellt mit Hilfe von chatGPT

Im Eröffnungssegment von „The Unplanned Show“ begrüßt der Moderator James Zhao von Snowflake und Manu Raj von PagerDuty. Im Gespräch geht es um die Herausforderungen ungeplanter Arbeit und deren Auswirkungen auf Unternehmen. Dabei werden die Kernfunktionen großer Sprachmodelle (LLMs) beleuchtet, die generative KI-Funktionen ermöglichen, und die Grundlage für einen tieferen Einblick in DataOps geschaffen. Manu und James geben Einblicke in ihre jeweiligen Rollen und diskutieren die zunehmende Komplexität von Datenoperationen im Zeitalter von Cloud- und On-Premise-Systemen, verbunden mit der Integration generativer KI-Tools.

„Die Komplexität der Datenoperationen hat sich mittlerweile in eine Mischung aus all diesen Tools verwandelt, was DataOps nun vor eine große Herausforderung stellt.“

Im Anschluss daran dreht sich die Diskussion um die zunehmende Komplexität der Architektur großer Sprachmodelle (LLMs) und deren Auswirkungen auf Datenoperationen. Der Moderator erwähnt die neue LLM-Architektur von Andreesen Horowitz und hebt die Herausforderungen hervor, die sich durch die Vielzahl an Komponenten und Abhängigkeiten ergeben. Das Gespräch berührt die geschäftliche Bedeutung und Abhängigkeit von komplexen Datensystemen und führt zu einer Diskussion zwischen James und Manu über Störungen in der Datenpipeline und die Kundenerfahrungen bei Ausfällen einzelner Komponenten. James betont den wachsenden Bedarf an robusten Datenpipelines und erwähnt Kundenanforderungen nach Funktionen wie der Aufnahme von Streaming-Daten und verbesserter Observability. Das Gespräch verlagert sich dann auf Snowflakes sich entwickelnde Rolle jenseits eines Data Warehouse, mit Fokus auf Daten-Observability. James erörtert Snowflakes Bemühungen, Kunden mehr Einblick in ihre Snowflake-Konten zu ermöglichen, und stellt Funktionen wie eine Ereignistabelle und native Warnmeldungen für proaktives Monitoring vor. Manu zeigt sich begeistert von der Integration der Observability-Funktionen von Snowflake in PagerDuty und betont die Bedeutung dieser Benachrichtigungen für moderne digitale Prozesse.

„Wir waren begeistert von […] diesen Benachrichtigungen von Snowflake, und unser Team war das erste, das sich freute, als wir hörten, dass Snowflake […] Observability zusätzlich zu all den Telemetriedaten-Ereignisbenachrichtigungen auf Snowflake veröffentlicht hat.“

Anschließend dreht sich die Diskussion um die zunehmende Verbreitung von LLMs und die Bedeutung eines ausgereiften DataOps-Managements für Unternehmen, die sich mit komplexeren Datenprozessen auseinandersetzen. Der Moderator betont die Wichtigkeit einer soliden DataOps-Grundlage für den Aufbau robuster LLM-Architekturen. James stellt die jüngsten Ankündigungen von Snowflake vor und zeigt sich begeistert von Funktionen wie der Entwicklung von ML-Modellen, den Snow Park Container Services und nativen Apps in der Snowflake Data Cloud. Er hebt die Begeisterung der Kunden für die Analyse unstrukturierter Daten und deren Wertschöpfung hervor. Das Gespräch vertieft sich in konkrete Anwendungsfälle, darunter die gemeinsame Nutzung von Kundendaten über containerisierte Datendienste. Manu teilt PagerDutys Interesse an der gemeinsamen Nutzung von Kundendaten und erörtert das Potenzial, komplexe Logik in Containermodelle einzubetten.

„Wir prüfen die Möglichkeit, den containerisierten Datendienst zu nutzen, um Daten mit anderen Snowflake-Kunden auszutauschen. Wir können einen Teil der komplexen Logik von PagerDuty einfügen, sodass wir sie in die Datenmodelle einbetten und mit unseren Kunden teilen können.“

Das Interview schließt mit Betrachtungen zur sich wandelnden Landschaft des Datenmanagements (DataOps) im Kontext generativer KI und großer Sprachmodelle (LLMs). Die Diskussion unterstreicht die Bedeutung einer soliden Grundlage in den Bereichen Daten-Governance, Datenqualität und Datenbeobachtbarkeit für Unternehmen, die sich auf fortgeschrittenere KI-Architekturen konzentrieren. Die Teilnehmenden betonen den Bedarf an Kontrollmechanismen und Tools, um sich ändernde Annahmen über Daten zu managen und deren Genauigkeit und Relevanz langfristig zu gewährleisten. Darüber hinaus werden die Herausforderungen und die Dringlichkeit der Wartung von Datenanwendungen, die auf Echtzeit-KI basieren, sowie die Bedeutung von Wachsamkeit und modernen Tools in diesem dynamischen Umfeld erörtert.

„Es ist absolut unerlässlich, dass die grundlegenden Elemente zur Aufrechterhaltung der Datenqualität und Datenbeobachtbarkeit – also die grundlegenden Systeme rund um Daten-Governance und -Sicherheit – in Ihrem Ökosystem korrekt implementiert sind.“

Sehen Sie sich das Interview an: