« Parce que la confiance des clients est la priorité absolue de PagerDuty, et cela se traduit par la fiabilité, la qualité, la sécurité, etc. C'est pourquoi, pour ces fonctionnalités, il est essentiel qu'une intervention humaine soit présente. »

Un ingénieur logiciel, un data scientist et un chef de produit entrent dans un IA générative Dans le cadre de ce projet, ils utilisent une technologie qui n'existait pas il y a un an pour identifier un problème rencontré par un client et qu'ils pourraient résoudre. Ils s'appuient sur l'expérience de leurs collègues en matière de développement de fonctionnalités d'IA et testent comment exploiter les données d'entrée et contraindre les données de sortie pour obtenir un résultat utile. Écoutez l'intégralité de la conversation. ici .

Lisez l'article mentionné dans l'épisode. ici .

« Je pense qu'il s'agit d'un tournant dans le monde de la technologie. Nous avons déjà connu de grands bouleversements comme les navigateurs, les appareils mobiles, etc. C'est un changement majeur pour l'industrie, qui sera également disruptif, et c'est passionnant d'y participer. »

Résumé généré avec l'aide de chatGPT :

Dans cet épisode de The Unplanned Show, l'animateur reçoit trois invités : Leeor Engel, responsable d'ingénierie senior chez PagerDuty, Everaldo Aguiar, responsable senior de l'équipe de science des données chez PagerDuty, et Ben Wiegelmann, chef de produit basé à Lisbonne. La discussion porte sur les défis liés à la gestion des interventions imprévues dans des environnements hautement numérisés, et plus particulièrement sur l'intégration récente de grands modèles de langage et de capacités d'IA générative dans les produits PagerDuty. La conversation explore le problème sous-jacent qu'ils ont cherché à résoudre : fluidifier la communication lors d'incidents, tels que les pannes système, et réduire la charge de travail liée à la rédaction des mises à jour de statut. Ben Wiegelmann, en tant que chef de produit, souligne l'importance de se concentrer sur le problème plutôt que de s'enthousiasmer pour la solution. Il explique comment la fonctionnalité d'IA générative vise à simplifier la synthèse des échanges relatifs aux incidents et la mise à jour des parties prenantes, optimisant ainsi la réactivité.

« Nous savons, grâce à nos clients, qu'ils ont jusqu'à trois personnes de garde 24h/24 et 7j/7 pour tenir les parties prenantes informées, et nous pensons qu'avec cette solution, nous pouvons réduire ce nombre à une seule personne pour effectuer cette vérification. »

La discussion se concentre ensuite sur les défis liés à l'utilisation des grands modèles de langage (LLM) et de l'IA générative dans le cadre des mises à jour de statut des incidents chez PagerDuty. L'animateur et ses invités explorent l'importance d'intégrer le contexte à la technologie et d'éviter une fenêtre de conversation trop ouverte afin d'améliorer l'expérience utilisateur. Leeor Engel souligne la nécessité d'une intervention humaine pour garantir la confiance des clients et la fiabilité, permettant ainsi aux utilisateurs d'affiner et de corriger le contenu généré avant envoi. La conversation aborde la complexité des mises à jour de statut pendant les incidents, en soulignant les différentes phases et le stress associé à la première mise à jour. Everaldo Aguiar explique comment les LLM, grâce à leur capacité à se souvenir et à conserver le contexte, révolutionnent la gestion des incidents en offrant une interface d'interaction unique. L'entretien met en lumière l'importance des LLM pour surmonter les barrières linguistiques et le syndrome de la page blanche, permettant la génération de résumés que les utilisateurs peuvent consulter avant de communiquer avec les parties prenantes.

« Disposer de cette technologie qui permet de collecter des données provenant de différentes sources et de générer un résumé, tout en me tenant informé et en me donnant la possibilité de vérifier ce qui est envoyé à mes parties prenantes, est assurément quelque chose dont nous ne disposions pas il y a encore un an. »

La conversation s'oriente vers la mise en œuvre de cette nouvelle technologie et les défis liés à l'optimisation de l'expérience utilisateur avec les grands modèles de langage (LLM) et l'IA générative. Ben Wiegelmann aborde les trois phases que traversent généralement les utilisateurs lorsqu'ils interagissent avec des produits comme ChatGPT, en soulignant l'importance de simplifier l'expérience utilisateur pour éviter la frustration et faciliter l'ingénierie des invites. Leeor Engel met en lumière les complexités sous-jacentes, en soulignant la nécessité de s'adapter aux différentes manières dont les clients interagissent avec PagerDuty tout en maintenant une expérience positive et cohérente. Everaldo Aguiar nuance la discussion, en expliquant que même avec l'abstraction des invites, le résultat des LLM peut varier, ce qui exige des contraintes supplémentaires pour garantir la génération d'informations pertinentes et appropriées, en tenant compte de facteurs tels que les détails de la chronologie et en évitant les informations superflues.

« Ce que nous avons essayé avec notre produit, c'est de tirer parti de notre équipe de spécialistes en IA, experts en rédaction de prompts. Nous avons simplifié le processus en un seul clic pour chaque cas d'utilisation spécifique, permettant ainsi à l'utilisateur de constater la magie en un clic, sans frustration ni apprentissage de la conception de prompts. »

La discussion porte ensuite sur l'alliance de l'art et de la science dans la mise en œuvre des grands modèles de langage (LLM) et de l'IA générative, en soulignant l'importance d'intégrer les meilleures pratiques à la technologie. La conversation met en lumière les défis liés à la fusion des processus d'ingénierie et d'amélioration des invites, en s'appuyant sur les meilleures pratiques implicites accumulées au fil des années d'expérience. Les personnes interviewées discutent de l'importance d'intégrer les connaissances relatives aux données et aux processus d'amélioration dans les invites afin de guider les utilisateurs vers une utilisation efficace de la technologie. La conversation aborde également… Guides opérationnels de PagerDuty Ces ressources, partagées publiquement et désormais intégrées au produit, offrent aux utilisateurs des bonnes pratiques en matière de gestion des incidents et de communication. Abordant ensuite la question des sources de données, l'entretien explore l'utilisation des conversations Slack, des notes de l'interface utilisateur et des mises à jour automatiques de la chronologie pour enrichir les informations alimentant les modèles LLM.

« Il ne s’agit pas seulement de faire gagner du temps à l’utilisateur parce que nous savons : « Tiens, ces données sont précieuses dans ce contexte », mais aussi de savoir comment les élaborer correctement. Ces deux éléments convergent : la connaissance des données et l’amélioration des processus. »

L'entretien se conclut par une discussion sur la flexibilité des canaux de communication pour les données d'incidents, soulignant l'importance de données de qualité pour un rendement optimal de l'IA. L'équipe se montre enthousiaste face à l'évolution du paysage technologique, au développement rapide des fonctionnalités d'IA et à l'approche unique de PagerDuty en matière d'intégration de la technologie au produit. Elle met en avant l'importance des retours utilisateurs et l'amélioration continue de la technologie afin de dépasser les attentes des clients. La conversation s'achève sur le potentiel de l'IA à impressionner et sur la perspective d'affiner et d'améliorer le système au fil du temps.

« Nous pensons qu'il est important de pouvoir varier nos sources de données. Tout cela nous ramène à l'adage du Big Data : « Si les données d'entrée sont mauvaises, les résultats le seront aussi. » C'est précisément le problème que nous rencontrons avec l'IA. Il ne s'agit pas seulement d'analyse de données massives, mais aujourd'hui aussi, avec l'IA, nous avons besoin de données de qualité pour obtenir des résultats pertinents. »

Regardez l'interview :