Nouveaux modèles, nouveaux agents, nouvelles fonctionnalités. Il semble que chaque semaine apporte son lot de nouvelles fonctions d'IA indispensables. Il n'est donc pas surprenant que les dirigeants se sentent obligés d'agir rapidement. Événement PagerDuty en tournée Un client a plaisanté en disant qu'il ne pouvait pas concevoir d'avoir une stratégie d'IA sur cinq ans ; il est beaucoup plus logique d'en avoir une sur cinq minutes.

Ce constat est pertinent. L'émergence rapide de nouveaux outils d'IA rend la planification à long terme quasi impossible, et les organisations déploient l'IA en production plus vite que leurs infrastructures opérationnelles ne peuvent suivre. Mais dans la précipitation à déployer ces nouveaux outils et à ne pas se laisser distancer, de nombreuses équipes négligent une question essentielle : Que se passe-t-il lorsque l'IA dysfonctionne ?

Chaque nouvel outil, processus ou intégration d'IA introduit des points de défaillance potentiels qui n'existaient pas auparavant. Le succès de l'IA à grande échelle repose sur la compréhension et l'anticipation de ces nouveaux risques.

Si votre organisation est incapable de détecter, de diagnostiquer, de se remettre et de tirer des leçons des défaillances liées à l'IA, votre stratégie risque de vous exposer à des risques plus importants que vous ne le pensez.

Les nouveaux modes de défaillance plus difficiles à détecter introduits par l'IA

Comme tout élément d'un écosystème technologique, l'IA peut présenter des défaillances, parfois flagrantes, parfois insidieuses. Par exemple, un outil d'IA tiers utilisé par votre entreprise peut rencontrer un incident et devenir inopérant. De plus, l'IA peut se dégrader silencieusement, avoir un comportement imprévisible ou entreprendre une action inappropriée sans qu'une erreur manifeste ne soit signalée. Lorsqu'une telle défaillance survient, il est souvent difficile d'en identifier la cause profonde, notamment pour les organisations qui n'ont pas mis en place de procédures de gestion des défaillances liées à l'IA.

• Dans ces cas-là, un échec pourrait se manifester ainsi :
• Un agent agissant sur la base d'un contexte incomplet ou mal interprété
• Un flux de travail qui prend trop de temps à s'exécuter ou qui ne se termine pas
• Des actions qui sont correctement réalisées 10 fois, puis de manière imprévisible la 11e fois.
• Dérive du modèle qui passe inaperçue sans surveillance à long terme

Les organisations reconnaissent le défi. Dans notre plus récent rapport, nous avons constaté que les organisations reconnaissent le défi. Enquête PagerDuty 85 % des répondants ont déclaré que leur organisation a besoin de meilleures procédures pour détecter les erreurs ou les défaillances des outils d'IA. Cela commence par comprendre pourquoi l'IA échoue, puis par mettre en place des processus de gestion des incidents spécifiquement conçus pour les incidents liés à l'IA.

Pourquoi les stratégies d'IA échouent

Les humains apprennent à contourner les faiblesses et les incohérences de leurs systèmes. Ils s'adaptent et font preuve de discernement. Mais lorsqu'on déploie l'IA à l'échelle d'une entreprise ayant atteint la complexité propre aux grandes organisations, on introduit le risque de nouveaux échecs aux conséquences importantes.

C’est dans ces trois formes de dette opérationnelle que la plupart des stratégies d’IA échouent.

1. dette technique et d'automatisation

De nombreuses entreprises ont accumulé des années d'incohérences entre leurs systèmes, services et flux de travail : des étapes manuelles jamais automatisées et des processus différents pour des tâches similaires d'une équipe à l'autre.

L'IA peut s'avérer précieuse. Mise en œuvre avec soin, elle peut analyser ces flux de travail service par service, identifier des tendances même au sein de systèmes très complexes et suggérer des solutions pour automatiser les processus manuels. L'essentiel est de fournir à l'IA les données pertinentes pour examiner le fonctionnement du système et en tirer des conclusions justes. Au fil du temps, l'IA affine sa compréhension de l'optimisation du système et les automatisations proposées deviennent encore plus pertinentes pour les équipes souhaitant alléger leurs processus. Résultat : du temps libéré pour se concentrer sur l'essentiel.

Imaginez un agent d'IA chargé de déployer des services dans des environnements où les pipelines de livraison sont standardisés et soumis à une validation humaine. Cet agent prépare les modifications, valide les configurations et signale les exceptions, tandis que les ingénieurs examinent et approuvent les actions à des points de contrôle définis. Grâce à l'homogénéité des scripts de compilation, des étapes d'approbation et des normes de configuration entre les équipes, les déploiements deviennent reproductibles et auditables. L'IA gère l'exécution rapidement, et les humains conservent un rôle de supervision lorsque leur jugement est nécessaire.

2. dette d'intégration

L'IA ne peut prospérer en vase clos. Pour tenir ses promesses de retour sur investissement, elle doit s'intégrer à différents outils, services et sources de données afin de recueillir le contexte, d'agir et de mener à bien des processus de bout en bout. De nombreuses organisations déploient des dizaines d'outils d'IA au sein de leurs équipes et services respectifs, mais faute de connexion, les résultats restent isolés et ne peuvent être déployés à grande échelle.

Mais lorsque les outils d'IA sont déployés de manière réfléchie et intégrés intentionnellement à l'infrastructure technologique d'une organisation, ils peuvent transformer radicalement la donne. Les organisations utilisent MCP (Protocole de contexte de modèle) pour donner aux agents et assistants IA un accès sécurisé à des sources de données et à des actions supplémentaires en temps réel.

3. dette du partenariat humain-IA

On ne peut pas utiliser l'IA efficacement sans comprendre quelles tâches relèvent de l'humain et lesquelles doivent être confiées à l'IA. Chaque organisation compte trois catégories de tâches opérationnelles :

• Tâches bien comprises qui peut être entièrement automatisée
• Tâches partiellement comprises qui bénéficient de la collaboration entre l'humain et l'IA
• Tâches nouvelles qui nécessitent principalement une expertise humaine, avec le soutien de l'IA en arrière-plan.

Lorsque les équipes maîtrisent parfaitement leurs processus, notamment les étapes, le jugement requis à chaque étape et les tâches récurrentes, elles peuvent appliquer l'IA avec précision. Elles automatisent les tâches routinières en toute confiance, utilisent l'IA pour faciliter les décisions complexes et concentrent l'expertise humaine là où elle est la plus pertinente. Ainsi, les équipes gagnent en rapidité, l'IA apporte une valeur ajoutée mesurable et le travail devient proactif plutôt que réactif.

Comment renforcer la résilience opérationnelle de l'IA

Améliorer la résilience ne signifie pas freiner l'innovation. Bien au contraire. Lorsque les équipes savent détecter les échecs, y réagir et les prévenir, elles sont mieux à même d'expérimenter, d'apprendre plus vite et d'étendre l'IA à des cas d'usage à plus forte valeur ajoutée.

Voici quatre façons de renforcer la résilience de vos opérations pour soutenir et déployer l'IA à grande échelle.

1. Mettre en place un processus de gestion des incidents liés aux défaillances de l'IA

Lorsqu'un système d'IA dysfonctionne, l'incident peut impacter plusieurs équipes, services, voire unités opérationnelles. Souvent, les responsabilités et les experts en la matière pour ce type d'incidents restent flous.

Qui intervient lorsqu'un agent d'IA effectue une action imprévue ? Comment les équipes déterminent-elles si le problème provient du modèle, des données ou d'une dépendance en aval ? Comment annuler une décision d'IA ayant déjà entraîné des modifications en cascade ?

Les organisations les plus résilientes considèrent la gestion des incidents d'IA comme une discipline transversale. Elles définissent clairement les responsabilités et les procédures d'escalade, élaborent des manuels d'exploitation pour les scénarios de défaillance courants et veillent à ce que, lorsqu'un système d'IA tombe en panne, la réponse soit un effort coordonné de l'entreprise.

2. Préciser les domaines où l'IA devrait et ne devrait pas intervenir.

Commencez par cartographier les types de travaux critiques à l'aide d'un cadre à trois niveaux Identifiez les tâches bien maîtrisées où l'automatisation apporte une valeur ajoutée sûre et immédiate. Réservez la supervision humaine aux domaines nouveaux.

3. Créer une observabilité pour le comportement de l'IA

Considérez l'IA comme n'importe quel autre système opérationnel nécessitant une surveillance. Surveillez les habitudes d'utilisation, les signaux d'erreur, les résultats inattendus, les journaux d'actions et les performances à long terme.

Cependant, les outils d'observabilité standard peuvent ne pas offrir les capacités nécessaires pour gérer les systèmes d'IA en toute sécurité. LLMOps des outils tels que Arize sont explicitement conçues pour le comportement de l'IA et peuvent détecter la dégradation des modèles ou les décisions prises par les agents en dehors des paramètres acceptables avant que cela n'ait un impact opérationnel.

4. S'engager dans un apprentissage continu

Comme tout incident, les incidents liés à l'IA offrent aux équipes des occasions d'apprendre et de s'améliorer. Ces enseignements sont essentiels pour les intégrer aux processus. Un manque de clarté concernant la responsabilité des outils d'IA a peut-être aggravé le MTTR. Il est également possible qu'un problème n'ait pas été détecté assez tôt en raison d'un déficit d'observabilité. Documenter ces points de blocage peut aider les organisations à faire progresser leurs initiatives en matière d'IA et à maîtriser les risques qui y sont associés.

Intégrez la résilience à votre stratégie d'IA dès le premier jour.

Les dirigeants performants savent que résilience et rapidité exigent un équilibre subtil. Ils prennent en compte le risque opérationnel dès le départ, en se demandant : quel niveau de risque sommes-nous prêts à accepter pour accélérer l’adoption de l’IA ?

Une approche axée sur la résilience garantit que, lorsque l'IA échoue (et cela arrivera), vos systèmes opérationnels pourront absorber la complexité, atténuer les risques et maintenir la continuité des activités.

Apprenez comment PagerDuty Operations Cloud aide les équipes à gérer les incidents, de leur détection à leur atténuation, en passant par le triage et l'apprentissage continu, y compris les défaillances d'IA qui affectent plusieurs systèmes et équipes. .