Dans un article de blog récent, Gérer un service de niveau zéro ne doit pas être effrayant Tim Armandpour, vice-président principal du développement de produits de PagerDuty, a discuté de plusieurs bonnes pratiques importantes qui minimiser le chaos lors de la résolution des incidents Selon Tim, dans le monde toujours connecté d'aujourd'hui, garantir la fiabilité en adoptant de meilleures processus de réponse aux incidents est une pratique plus importante que jamais. Il est crucial que les équipes puissent répondre à des questions telles que : « Comment prévenir les bonnes personnes en cas de panne ? », « Comment réduire les délais de résolution ? », « Comment faire remonter les bonnes données ? » et « Comment pouvons-nous nous améliorer collectivement ? »

Il a partagé l'histoire de la transformation de PagerDuty et la façon dont notre équipe d'ingénierie a commencé à injecter des échecs dans notre propre environnement avec Les vendredis de l'échec Améliorer la résilience des systèmes, améliorer la détection proactive des problèmes et acquérir les compétences essentielles pour agir et résoudre efficacement les problèmes. Il a également exposé les deux principaux objectifs de Failure Friday : 1) comprendre les scénarios de défaillance courants et établir les meilleures pratiques en cas de problème ; 2) favoriser la collaboration en rassemblant les différents acteurs de notre organisation pour résoudre les problèmes, notamment en première ligne, grâce à une approche contrôlée et intentionnelle.

L'article met en évidence les principaux enseignements tirés de l'introduction des Vendredis de l'échec, notamment :

1. L'équipe analyse constamment différents scénarios de défaillance, testant et essayant différentes choses pour tenter d'exposer des vulnérabilités potentielles. Les équipes chargées de gérer les services attaqués ne sont pas prévenues à l'avance (comme dans la réalité). Chacun doit être prêt à réagir de manière coordonnée à tout moment.
2. L'équipe effectue des tests de scénarios de défaillance pas Dans un environnement de test ou de pré-production, mais en production réelle. Si les tests de défaillance sont toujours conçus de manière à garantir que les clients ne soient pas affectés, une approche intentionnelle est essentielle pour devenir de véritables experts en réponse aux incidents réels. Selon Tim, la fiabilité étant une promesse si importante pour nos clients, « nous exerçons nos activités comme si notre travail en dépendait ».
3. Quand tu faire Pour identifier une vulnérabilité lors de tests de défaillance en direct, il est important de ne pas laisser cela devenir source de panique. Les pièges sont plutôt une occasion précieuse de s'habituer à rester serein face aux imprévus, de mettre en œuvre un correctif et d'améliorer encore la résilience de votre infrastructure.
4. À la fin de la réponse à l’incident, c’est essentiel de procéder à une autopsie afin que l'équipe puisse apprendre et s'améliorer ensemble. Les analyses rétrospectives doivent être irréprochables et axées sur les prochaines étapes concrètes d'amélioration.

Consultez l’article complet pour en savoir plus sur des idées éprouvées pour vous entraîner et vous améliorer en matière de réponse aux incidents, afin que votre équipe soit préparée lorsque la prochaine défaillance inévitable surviendra.

Lire l'article en entier »