Am Freitagabend, dem 29. Juni, kam es bei Amazon Web Services (AWS) an seinem Standort in Nord-Virginia zu einem größeren Ausfall. aufgrund eines Stromausfalls . Dieser Ausfall, die zweite im Juni waren zahlreiche AWS-Kunden betroffen, die PagerDuty verwenden. Da PagerDuty auch ein AWS-Kunde ist, freuen wir uns, Ihnen mitteilen zu können, dass wir den Sturm „überstehen“ konnten und keine Ausfallzeiten hatten.

Da wir bestrebt sind, unseren Kundensupport und unsere Transparenz auf höchstem Niveau zu halten, möchten wir kurz die Ereignisse des Abends zusammenfassen und darlegen, was wir zur Lösung des Problems unternommen haben und was wir weiterhin tun, um sicherzustellen, dass Ihre Alarmierungsdienste über PagerDuty nach besten Kräften ohne Unterbrechungen ablaufen.

Was PagerDuty gesehen hat

Am Freitag, dem 29. Juni, um 20:06 Uhr (Pazifikzeit) bemerkte unser System einen ungewöhnlichen Anstieg von Warnmeldungen auf der PagerDuty Plattform. Laut Amazons eigener Analyse befanden sich „ungefähr 7 % der EC2-Instanzen in der Region US-EAST-1 in der betroffenen Availability Zone und waren vom Stromausfall betroffen.“

Nachfolgend sind die bemerkenswerten Alarmspitzen aufgeführt, die uns auf das AWS-Ereignis aufmerksam gemacht haben:

~20-fache Zunahme des Datenverkehrs aufgrund des AWS-Ausfalls. (Der zweite Anstieg fällt mit der Hinzufügung einer Schaltsekunde zu UTC zusammen und steht wahrscheinlich in keinem Zusammenhang.)

Wie in unserem Blogbeitrag vom 18. Juni Nach dem ersten AWS-Ausfall im Juni 2012 haben wir Folgendes getan und tun dies weiterhin, um die Verfügbarkeit von PagerDuty für unsere Kunden sicherzustellen:

Migrierte Rechenzentren von AWS US-Ost nach US-West:
Diese Rechenzentrumsmigration wurde am 19. Juni 2012 durchgeführt. Ziel dieser Migration war es, unsere Ausfälle von denen unserer Kunden zu entkoppeln. Anders ausgedrückt: Es ist für uns offensichtlich keine gute Idee, die gleiche Infrastruktur wie ein großer Teil (über 20 %) unserer Kunden zu nutzen. Daher haben wir den US-Ost-Raum verlassen.

Wir bei PagerDuty kümmern uns um alle Angelegenheiten im Zusammenhang mit der Verfügbarkeit unserer Dienste sehr ernst. Wenn Sie Fragen oder Bedenken haben, zögern Sie bitte nicht, uns zu kontaktieren unter support@pagerduty.com .