Nelnet erhöht die Betriebszeit, steigert die Mitarbeiterproduktivität und senkt die Kosten mit PagerDuty.

Mit dem Fokus auf den Kunden bietet Nelnet innovative Bildungsdienstleistungen in den Bereichen Kreditbearbeitung, Zahlungsabwicklung, Bildungsplanung und Vermögensverwaltung. Diese Produkte und Dienstleistungen unterstützen Schüler und Familien bei der Planung, Vorbereitung und Finanzierung ihrer Ausbildung und optimieren gleichzeitig die administrativen und finanziellen Prozesse für Schulen und Finanzinstitute. Das Unternehmen hat seinen Hauptsitz in Lincoln, Nebraska, und beschäftigt über 3.400 Mitarbeiter, die Kunden während des gesamten Bildungszyklus betreuen.

Die IT-Abteilung von Nelnet verfügt über mehrere Serviceebenen: Annahme, Bereitschaftsdienst, Eskalation sowie Produktverantwortliche und Architekten. Ryan Regnier ist IT-Manager bei Nelnet und leitet das Tier-2-Team, das Bereitschaftsdienst leistet, Probleme eskaliert und auf Ausfälle reagiert. Die Führung eines solchen Teams erfordert die Bearbeitung einer Vielzahl kritischer Störungsmeldungen und die Klärung der Eskalationsprozesse an die anderen Serviceebenen. Aus diesem Grund suchten Ryan und das Unternehmen nach einer Lösung, die diese Prozesse vereinfachen könnte.

Überwindung manueller Prozesse zur Verwaltung der Rufbereitschaftsplanung und der Eskalation von Vorfällen

Nelnet überwacht alles, von Webservern zur Verarbeitung von Kreditkartenzahlungen bis hin zu Netzwerkgeräten, die Datenverkehr an Web- und Datenbankserver senden. Das Unternehmen überwacht 35.000 Ereignisse gleichzeitig, was zu Warnmeldungen rund um die Uhr führt. Bevor Nelnet PagerDuty einführte, war die Verwaltung der Rufbereitschaft und Eskalationen aufgrund der bestehenden manuellen Prozesse eine Herausforderung. Wenn eine Anwendung ausfiel, mussten die Mitarbeiter des Netzwerkbetriebs (NOC) manuell seitenweise Tabellenkalkulationen durchsuchen, um den richtigen Ansprechpartner zu finden. Die Tabellen legten fest, was bei einer Störungsmeldung zu tun war, an wen das Problem zu eskalieren war und wie auf jeden einzelnen Vorfall zu reagieren war. Dieser manuelle Prozess war nicht ohne Weiteres skalierbar, erschwerte die effiziente Arbeit der Teams und verlängerte die Ausfallzeit. Dies hatte neben Nelnet auch negative Auswirkungen auf die Kunden: Wenn die zentrale Zahlungsabwicklungsseite ausfiel, konnten Kunden keine Zahlungen tätigen, was zu Umsatzeinbußen und Kundenunzufriedenheit führte.

Auch die Frage, wen man im Störungsfall kontaktieren sollte, stellte ein Problem dar. Selbst mit einem rund um die Uhr besetzten NOC-Team wurden die falschen Personen zum falschen Zeitpunkt kontaktiert. Dies führte nicht nur zu Frustration, sondern es gab auch keine Möglichkeit, die Benachrichtigungen zu automatisieren oder anzupassen. All diese Hindernisse führten zu Verzögerungen bei der Störungsbehebung, Zahlungsausfällen bei Kunden und einem Produktivitätsrückgang aufgrund des langwierigen und komplexen manuellen Prozesses.

Steigerung der betrieblichen Effizienz und Senkung der Kosten

Nelnet führte PagerDuty ein, um die Herausforderungen bei der Einsatzplanung, Alarmierung und Eskalation im Bereitschaftsdienst zu minimieren und Kosten zu senken. Ein Bereich, in dem Kosten eingespart werden konnten, war das NOC-Team. Dank der automatisierten und zuverlässigen Incident-Management-Plattform von PagerDuty benötigte Nelnet keine 24/7-NOC-Umgebung mehr. „Bevor wir PagerDuty einführten, suchten wir nach Möglichkeiten, Kosten zu senken und unser Incident-Response-Management zu verbessern. Die PagerDuty Lösung hat sich als optimal für Nelnet erwiesen. PagerDuty macht die Arbeit deutlich einfacher“, so Regnier.

Schätzungsweise 35.000 Vorfälle werden durch die Überwachungstools von Nelnet generiert. Diese Vorfälle, die durch Dateiübertragungen und externe Websites, einschließlich solcher, die auf Amazon Web Services gehostet werden, entstehen, werden direkt an PagerDuty gesendet. Der typische Anwendungsfall für das Bereitschafts- und Eskalationsteam sind Probleme, die von einem der Server oder Dienste ausgehen. PagerDuty benachrichtigt die Bereitschaftsmitarbeiter innerhalb von Sekunden über das Problem. So können die Ansprechpartner im Bereitschaftsdienst die Ursache ermitteln, das Problem bei Bedarf eskalieren und beheben.

Nelnet verfügt aktuell über 80 Eskalationsrichtlinien, die mehrmals täglich zum Einsatz kommen. Ein Beispiel hierfür ist ein größerer Vorfall, der die Unterstützung mehrerer Teams erforderte. Das Incident-Management-Team meldete sich in PagerDuty an, um die zuständigen Personen per E-Mail über das Problem zu informieren. Dadurch konnten die Bereitschaftskräfte die betroffenen Personen direkt kontaktieren, anstatt die Benachrichtigung an alle Teammitglieder zu senden. Alle Beteiligten nahmen an der Krisenbesprechung teil, mit Ausnahme einer Person, die alle fünf Minuten angerufen wurde, bis die Eskalationsrichtlinie nach 20 Minuten griff. Dank der Eskalationsfunktion konnte der Ersatzmitarbeiter die Benachrichtigung bestätigen und zur Problemlösung beitragen.

„Ich kann jedem nur empfehlen, PagerDuty in Betracht zu ziehen. Die Kostenersparnis ist enorm. Mit PagerDuty wird die diensthabende Person bei jedem Vorfall bequem benachrichtigt. Die flexible Planung und die Möglichkeit, die richtigen Personen zu alarmieren, machen die Entscheidung für PagerDuty ganz einfach.“

– Ryan Regnier, IT-Manager, Nelnet

PagerDuty bietet Nelnet die Flexibilität, Nutzer auf verschiedenen Wegen zu kontaktieren, unter anderem per SMS oder E-Mail. „PagerDuty erleichtert meinem Team die Arbeit und sorgt für mehr Struktur. Wenn wir einen Ersatz für einen Bereitschaftsdienstmitarbeiter suchen, bietet die Lösung verschiedene Kontaktmöglichkeiten“, so Regnier. Nelnet kann Dienste schneller wiederherstellen, sodass Kunden die Services nutzen und den Geschäftsbetrieb aufrechterhalten können. „Tagsüber haben wir Bereitschaftsmitarbeiter, die innerhalb weniger Minuten auf einen Serverausfall reagieren können. Je nach Komplexität und Art des Problems können wir den Server in zehn Minuten oder weniger wiederherstellen. Wir erhalten diese Benachrichtigungen innerhalb von Sekunden und können innerhalb von Minuten darauf reagieren“, erklärt Regnier. Dank erhöhter Verfügbarkeit und Mitarbeiterproduktivität spart PagerDuty Nelnet jährlich 650.000 US-Dollar.

Verbesserung der Verfügbarkeit, Agilität und Mitarbeiterzufriedenheit

Vor PagerDuty gab es kaum Möglichkeiten, Ausfälle zu erfassen. Jetzt haben die Mitarbeiter jederzeit Zugriff auf wichtige Daten. Jeder Vorfall oder jedes ausgelöste Ereignis kann bis zu einem Jahr zurückliegend eingesehen werden. „Bei der Evaluierung von PagerDuty stellten wir fest, dass kein anderes Unternehmen ein so umfassendes Produktangebot oder einen so großen Funktionsumfang bot und zudem nicht so benutzerfreundlich war“, so Regnier. PagerDuty unterstützt Nelnet dabei, die Verfügbarkeit und die Produktivität der Mitarbeiter zu steigern, den Teams mehr Flexibilität zu bieten und sicherzustellen, dass Vorfälle stets umgehend behoben werden.