«PagerDuty est depuis longtemps l'outil standard du DevOps, la même discipline que nous utilisons en DataOps où toutes ces équipes envoient des signaux vers un seul outil, et nous sommes capables de corréler plusieurs signaux. »

L'époque où les données étaient chargées par lots dans un entrepôt de données pour des rapports de veille stratégique consultés périodiquement, et où, en cas de problème, seules quelques personnes en interne devaient patienter, est révolue. Aujourd'hui, les pipelines de données sont infiniment plus complexes, intégrant une multitude de sources, des services cloud aux systèmes sur site, et prenant en charge des applications de données qui constituent des éléments essentiels de l'écosystème de l'entreprise.

Dans cet épisode, Dormain Drewitz s'entretient avec Manu Raj, directeur principal de l'analyse et de l'ingénierie des données chez PagerDuty, et James Zhao, chef de produit senior chez Snowflake, pour discuter de l'évolution du DataOps et de l'importance de prendre en charge les grands modèles de langage (LLM) en production.

Ressources mentionnées :
– Blog : Exploiter le potentiel de Snowflake Alerts et PagerDuty Operations Cloud: Améliorer les opérations de données | Par Ravi Kumar | Juin 2023 | Medium
– Andreessen Horowitz : Architectures émergentes de LLM

Résumé créé avec l'aide de chatGPT

Dans le segment d'ouverture de The Unplanned Show, l'animateur présente James Zhao de Snowflake et Manu Raj de PagerDuty pour discuter des défis posés par le travail non planifié et son impact sur les entreprises. La conversation aborde les capacités essentielles des grands modèles de langage (LLM) qui sous-tendent les fonctionnalités d'IA générative et prépare le terrain pour une exploration approfondie du DataOps. Manu et James expliquent notamment leurs rôles respectifs et discutent de la complexité croissante des opérations de données à l'ère du cloud et des systèmes sur site, avec l'intégration d'outils d'IA générative.

« La complexité des opérations sur les données s'est désormais transformée en un mélange de tous ces outils qui convergent, ce qui place DataOps dans une situation très difficile. »

La discussion porte ensuite sur la complexité croissante de l'architecture des LLM (modèles de langage à grande échelle) et son impact sur les opérations de données. L'animateur évoque l'architecture émergente des LLM d'Andreesen Horowitz et souligne les défis posés par la multitude de composants et de dépendances. La conversation aborde l'importance et la dépendance des entreprises vis-à-vis des systèmes de données complexes, ce qui conduit James et Manu à discuter des perturbations du pipeline de données et de l'expérience client en cas de défaillance de différents composants. James insiste sur le besoin croissant de pipelines de données résilients et mentionne les demandes des clients pour des fonctionnalités telles que l'ingestion de données en flux continu et une observabilité accrue. La conversation se tourne ensuite vers le rôle évolutif de Snowflake au-delà d'un simple entrepôt de données, en mettant l'accent sur l'observabilité des données. James présente les efforts de Snowflake pour offrir aux clients une meilleure visibilité sur leurs comptes Snowflake, en introduisant des fonctionnalités telles qu'une table d'événements et des alertes natives pour une surveillance proactive. Manu se réjouit de l'intégration des capacités d'observabilité de Snowflake avec PagerDuty, soulignant l'importance de ces notifications dans les opérations numériques modernes.

« Nous étions impatients de recevoir ces notifications de Snowflake, et notre équipe a été la première à se réjouir lorsque nous avons appris que Snowflake avait lancé une fonctionnalité d'observabilité venant s'ajouter à toutes les notifications d'événements de données de télémétrie sur Snowflake. »

La discussion porte ensuite sur l'adoption croissante des modèles logiques logiques (LLM) et l'importance de la maturité DataOps à mesure que les organisations explorent des processus de données plus avancés. L'animateur souligne l'importance d'une base DataOps solide pour construire des architectures LLM résilientes. James évoque les récentes annonces de Snowflake et se dit enthousiaste quant à des fonctionnalités telles que le développement de modèles d'apprentissage automatique, Snow Park Container Services et les applications natives sur Snowflake Data Cloud. Il souligne l'enthousiasme des clients pour l'exploration des données non structurées et l'extraction de valeur à partir de celles-ci. La conversation approfondit des cas d'utilisation spécifiques, notamment le partage de données clients via des services de données conteneurisés. Manu partage l'intérêt de PagerDuty pour le partage de données clients et discute du potentiel d'intégration d'une logique complexe dans les modèles conteneurisés.

« Nous envisageons d'utiliser le service de données conteneurisées pour partager des données avec d'autres clients de Snowflake. Nous pouvons ainsi intégrer une partie de la logique complexe de PagerDuty dans nos modèles de données et la partager avec nos clients. »

L'entretien se conclut par une réflexion sur l'évolution du paysage des opérations de données (DataOps) dans le contexte de l'IA générative et des grands modèles de langage (LLM). La discussion souligne l'importance d'une gouvernance, d'une qualité et d'une observabilité des données solides à mesure que les organisations s'orientent vers des architectures d'IA plus avancées. Les participants insistent sur la nécessité de disposer de contrôles et d'outils pour gérer l'évolution des hypothèses concernant les données, afin d'en garantir l'exactitude et la pertinence dans le temps. La conversation aborde également les défis et l'urgence liés à la maintenance des applications de données alimentées par l'IA en temps réel, ainsi que l'importance de la vigilance et des outils modernes dans ce domaine en constante évolution.

« Il est absolument essentiel que les éléments fondamentaux du maintien de la qualité et de l’observabilité des données — ces systèmes fondamentaux liés à la gouvernance et à la sécurité des données — soient correctement mis en place dans votre écosystème. »

Regardez l'interview :