L'intelligence artificielle générative devrait avoir un impact considérable sur l'économie. Ces annonces incitent les équipes de développement logiciel à réfléchir rapidement à la manière d'intégrer l'IA générative à leurs logiciels, sous peine de se retrouver à la traîne face à cette transformation profonde. Cependant, dans l'effervescence qui entoure une technologie de rupture, le risque de gaspillage d'investissements et de perte de confiance des clients est également élevé.

Comment les équipes de développement logiciel peuvent-elles créer rapidement des fonctionnalités attrayantes grâce à l'IA générative, sans gaspiller de ressources, sans accumuler une dette technique excessive ni sans perdre la confiance des clients ? Après avoir discuté avec des data scientists, des ingénieurs de données et des chefs de produit travaillant sur des fonctionnalités générées par l'IA, quelques tendances se dégagent.

1. Avoir un cas d'utilisation clair qui résout un problème

Il est facile de se laisser emporter par l'engouement pour une technologie en constante évolution. Mais rien n'est plus contre-productif que de concevoir une solution sans avoir trouvé de problème. Dans une interview récente, Mitra Goswami , directeur principal de la science des données chez PagerDuty, souligne la nécessité de se concentrer sur un cas d'utilisation : « Au final, quel est le problème que vous essayez de résoudre ? »

Ce conseil n'est pas seulement judicieux d'un point de vue philosophique. Il a un impact direct sur les décisions clés que vous devez prendre. « Certains modèles sont trop volumineux », a déclaré Goswami à propos de la façon dont le cas d'utilisation peut engendrer des exigences. « Par exemple, les grands modèles de langage comme GPT 3.5 ou 4 sont presque magiques, mais peuvent consommer énormément de ressources processeur et s'avérer coûteux. Des modèles de langage plus petits, davantage axés sur un secteur ou une activité spécifique, peuvent souvent fournir de meilleurs résultats adaptés aux besoins de l'entreprise et présenter une latence plus faible, notamment pour les applications en temps réel. »

Pour identifier un cas d'usage, il est utile de réfléchir au besoin que vous souhaitez résoudre : résumé, chatbots, génération de code. Cependant, pour affiner votre analyse, Goswami a posé d'autres questions. Elle recommande de penser à l'impact sur le client : « Ce cas d'usage va-t-il apporter un soulagement à mes clients ? Va-t-il leur permettre de faire des économies ? » Tester vos cas d'usage de cette manière vous assure de créer une solution à valeur ajoutée.

2. Disposer d'une base de données solide

Pour les organisations qui développent depuis un certain temps des fonctionnalités gourmandes en données, l'IA générative n'est pas une nouveauté. « Nous travaillons avec l'IA depuis longtemps », a déclaré Goswami. Elle souligne l'importance d'une architecture de données solide pour une adoption rapide de l'IA générative. Selon elle, une infrastructure robuste est essentielle pour exploiter efficacement les capacités des modèles de langage (LLM) et de leurs fournisseurs.

« Le premier élément essentiel est une solution de stockage de données, souvent un lac de données, indispensable pour héberger de grands volumes de données textuelles nécessaires à l'entraînement et à l'optimisation des modèles. La scalabilité est également cruciale pour s'adapter aux variations de charge de travail, tandis qu'une API bien conçue permet une intégration fluide avec les services LLM. Des systèmes complets de surveillance, de journalisation et de gestion des coûts contribuent à préserver la santé de l'infrastructure et à optimiser les dépenses. »

Que signifie un environnement de données sain ? Selon Manu Raj Selon PagerDuty, directrice principale de l'analyse et de l'ingénierie des données, certaines exigences clés sont à prendre en compte. « Il est absolument essentiel de disposer des éléments fondamentaux permettant de maintenir la qualité et l'observabilité des données. »

3. Restez flexible dans votre approche.

L'évolution de l'IA a été fulgurante. ChatGPT, lancé il y a moins d'un an, comptait déjà 100 millions d'utilisateurs en moins de deux mois. En juillet 2023, Meta a de nouveau fait sensation avec la sortie de Llama 2. Grâce à une forte implication de la communauté open source et à d'importants investissements, les grands modèles de langage (LLM) et les services associés continuent d'évoluer. Et rapidement.

Pour les data scientists et les ingénieurs, cela se traduit par un paysage d'options en constante évolution. Attendre l'émergence de solutions « clairement gagnantes » n'est cependant pas envisageable. Le risque de tarder à se lancer dans le développement doit être mis en balance avec celui de s'appuyer sur une technologie obsolète. Concilier progrès et nécessité potentielle d'adaptation exige une approche flexible.

« Nous avons fait preuve d'une grande flexibilité dans le choix du modèle », explique Goswami. Cette flexibilité permet à l'équipe d'apporter des modifications ultérieurement, selon les besoins. Mais cela ne signifie pas pour autant changer constamment. Goswami a insisté sur la nécessité de construire en fonction de ce cas d'utilisation, et non de changer pour le simple plaisir de changer. « C'est un domaine en constante évolution, il faut donc avancer dans une direction », a-t-elle souligné. « Inutile de changer tous les jours, car ce domaine évolue très rapidement. Construisez plutôt dans un but précis. »

4. Commencez par les principes de conception

Bien que l'approche « aller vite et casser des choses » soit souvent encensée comme mantra de développement, elle peut engendrer une dette technique toxique. Par ailleurs, des revues d'architecture lentes et fastidieuses peuvent étouffer l'innovation. Comment Goswami et son équipe ont-ils trouvé le juste équilibre pour avancer rapidement sans pour autant figer l'architecture ?

« Nous avons commencé à rédiger un document de conception très tôt », a-t-elle expliqué. Ce document décrit les modèles d'architecture et la manière dont ils souhaitent interagir avec les fournisseurs ou les modèles open source. Cela offre à l'équipe une grande flexibilité pour l'avenir et minimise les perturbations. « Définir des principes de conception dès le départ lors de la construction d'une architecture de modèle de langage en tant que service (LMaaS) est primordial pour plusieurs raisons. Ces principes servent de cadre de référence, garantissant que l'architecture est alignée sur les objectifs visés, qu'il s'agisse de compréhension du langage naturel, de génération de contenu ou d'analyse de données. »

« Ils favorisent la cohérence et la clarté dans la prise de décision, ce qui permet de concevoir une architecture efficace et de haute qualité. Les principes de conception contribuent également à privilégier une approche centrée sur l'utilisateur, garantissant ainsi que les services LLM répondent efficacement à ses besoins et attentes. En résumé, partir des principes de conception est essentiel pour créer une architecture LLM robuste, centrée sur l'utilisateur et adaptable. L'équipe Data Science de PagerDuty a collaboré étroitement avec l'équipe Stratégie d'architecture et l'architecte en chef, Philip Jacob, pour créer une architecture LLM en tant que service. »

En partant du principe que les changements sont inévitables, l'équipe peut concevoir en tenant compte du changement. Concevoir en tenant compte du changement implique de réfléchir aux interfaces et aux interactions entre les différents composants. Ainsi, un composant, tel qu'un LLM, peut évoluer en ayant des implications bien comprises sur le reste de l'architecture. J'en ai déjà parlé. Parmi les autres éléments utiles pour accompagner le changement, on peut citer les tests et les pipelines CI/CD.

5. Établir des lignes directrices claires en matière de confidentialité et de responsabilité des données

Le respect de la vie privée est une préoccupation majeure pour les utilisateurs qui découvrent les nouvelles fonctionnalités et les nouveaux produits basés sur les LLM. Instaurer la confiance est une responsabilité partagée par de nombreuses équipes, des équipes produit aux équipes de science des données, et bien plus encore. Afin de garantir un travail responsable de la part des équipes, Goswami recommande d'établir des lignes directrices auxquelles elles pourront se référer.

« Nous devons être très attentifs à l'utilisation que nous faisons de nos données », explique Goswami. « Nous informons nos clients qu'ils ont la possibilité de donner leur consentement. » La transparence et les options de consentement sont clairement énoncées dans les directives publiques de PagerDuty relatives à l'utilisation sûre et sécurisée de l'IA générative. PagerDuty n'est d'ailleurs pas la seule entreprise à adopter cette approche. « De plus en plus de fournisseurs adoptent une approche où les interactions avec l'IA ne sont pas utilisées dans les données d'entraînement de cette dernière. » Jake Cohen a fait remarquer , Chef de produit senior chez PagerDuty.

« Nous limitons au strict minimum les informations partagées avec l'IA », explique Cohen. Au-delà des questions de confidentialité, il existe des raisons fonctionnelles de limiter l'utilisation de l'IA. Cohen décrit comment il isole les passages où les manuels d'exploitation générés par l'IA font appel à cette dernière. « Nous réfléchissons de manière très critique à l'utilité de l'IA et aux situations où nous pouvons privilégier les logiciels classiques. »

6. Disposer d'un cadre de comparaison

Les data scientists utilisent depuis longtemps les scores de confiance des modèles prédictifs, ainsi que d'autres méthodes pour comprendre et classer les résultats d'un modèle. À partir de là, les équipes peuvent déterminer l'approche la plus rapide et la plus efficace tout en respectant la précision souhaitée. De même, la précision de l'IA générative n'est qu'un facteur parmi d'autres à évaluer.

« Si vous ne mesurez pas, vous ne savez pas de quoi vous parlez », a affirmé Goswami. « Nous souhaitions une approche quantitative et avons donc créé un cadre de référence. » Goswami et son équipe ont pris en compte plusieurs facteurs, tels que le coût, la latence et la précision. « Nous avons créé un cadre qui nous a permis de comparer plus facilement ces éléments pour l’ensemble des programmes de maîtrise en droit (LLM) à notre disposition. »

Un tel cadre s'avère également utile face à l'émergence de nouveaux LLM ou d'autres options technologiques. L'équipe peut ainsi comparer les nouvelles options à l'ensemble des solutions déjà testées. Plutôt que de se laisser guider par les tendances, elle peut prendre des décisions éclairées quant aux nouvelles pistes à explorer. De plus, les options existantes peuvent être régulièrement évaluées par rapport à ces références afin de garantir que leurs performances restent supérieures à celles des autres solutions.

7. Intégrer les meilleures pratiques

Toute forme d'automatisation offre l'opportunité d'intégrer les bonnes pratiques. Après tout, les ordinateurs sont mieux adaptés que les humains pour effectuer des tâches répétitives de manière systématique. Une opportunité similaire se présente avec l'IA générative. Contrairement à un champ de saisie libre, une approche plus structurée des résultats générés par l'IA permet aux utilisateurs de tirer parti de l'expertise.

À titre d'exemple, les manuels d'exploitation générés par l'IA de PagerDuty sont conçus pour utiliser des plugins lorsqu'ils sont disponibles. Au lieu de recréer une connexion à un autre système, comme Ansible ou un service AWS, l'IA réutilise le plugin. Outre la réutilisation, Cohen a souligné que cette approche est également plus facile à gérer : « L'avantage de décomposer ce flux de travail en étapes qui tirent parti de ces plugins est que cela rend la tâche plus adaptable et plus facile à déboguer. »

Certaines bonnes pratiques ne peuvent être directement intégrées au résultat, mais elles peuvent l'être à l'expérience utilisateur. « Nous avons choisi d'ajouter une note en gras à la description de chaque tâche générée par l'IA : “Attention, cette tâche a été générée par une IA. Il est recommandé de la vérifier et de l'utiliser pour la première fois dans un environnement non critique.” », explique Cohen. « Il en va de même pour les nouvelles automatisations créées par un humain, même expérimenté. » Rappeler aux utilisateurs les bonnes pratiques relatives aux résultats de l'IA permet aux nouveaux membres de l'équipe de monter rapidement en compétences et en toute sécurité.
En suivant ces pratiques, l'équipe de PagerDuty a pu développer rapidement des fonctionnalités utiles pour ses clients grâce à l'IA générative. Cela a également permis de réduire les risques de dette technique, de gaspillage de temps et de ressources, ainsi que la perte de confiance des clients. En savoir plus Leçons tirées par PagerDuty de son expérience avec les LLM pour la réponse aux incidents .