„Denn Kundenvertrauen hat bei PagerDuty oberste Priorität, und das äußert sich in Zuverlässigkeit, Qualität, Sicherheit und all diesen Dingen. Daher ist es bei diesen Funktionen wirklich entscheidend, dass ein Mensch in den Prozess eingebunden ist.“

Ein Softwareentwickler, ein Datenwissenschaftler und ein Produktmanager betreten ein generative KI Projekt… Mithilfe von Technologien, die es vor einem Jahr noch nicht gab, identifizieren sie ein Kundenproblem, das sie möglicherweise lösen können, nutzen die Erfahrung ihrer Teamkollegen im Bereich der KI-Funktionen und testen, wie sich Eingaben verarbeiten und Ausgaben so einschränken lassen, dass etwas Nützliches entsteht. Hören Sie sich das vollständige Gespräch an. Hier Die

Lesen Sie den im Artikel erwähnten Beitrag. Hier Die

„Ich denke, es handelt sich um einen Wandel in der Technologiewelt. Wir hatten schon früher große Umbrüche, wie zum Beispiel bei Browsern, Mobilgeräten und ähnlichen Dingen. Dies ist ein großer Wandel in der Branche, und der wird ebenfalls disruptive Auswirkungen haben, und es macht Spaß, ein Teil davon zu sein.“

Zusammenfassung erstellt mit Hilfe von chatGPT:

In dieser Folge von „The Unplanned Show“ begrüßt der Moderator drei Gäste: Leeor Engel, Senior Engineering Manager bei PagerDuty, Everaldo Aguiar, Senior Manager im Data-Science-Team von PagerDuty, und Ben Wiegelmann, Produktmanager aus Lissabon. Im Mittelpunkt des Gesprächs stehen die Herausforderungen bei der Bewältigung ungeplanter Aufgaben in hochdigitalisierten Umgebungen, insbesondere die kürzliche Integration großer Sprachmodelle und generativer KI-Funktionen in die Produkte von PagerDuty. Das Gespräch geht auf das zugrundeliegende Problem ein, das sie lösen wollten: die Optimierung der Kommunikation bei Störungen wie Systemausfällen und die Reduzierung des Aufwands für Statusberichte. Ben Wiegelmann betont als Produktmanager, wie wichtig es ist, sich auf das Problem zu konzentrieren, anstatt sich in der Lösung zu verlieren. Er hebt hervor, wie die generative KI-Funktion die Zusammenfassung von Störungen und die Information der Beteiligten vereinfacht und letztendlich die Reaktionsmaßnahmen optimiert.

„Wir wissen von unseren Kunden, dass sie bis zu drei Mitarbeiter rund um die Uhr im Einsatz haben, um die Beteiligten auf dem Laufenden zu halten, und wir glauben, dass wir mit dieser Lösung den Aufwand auf nur eine Person reduzieren können, die die Informationen prüft.“

Im Anschluss daran konzentriert sich die Diskussion auf die Herausforderungen beim Einsatz großer Sprachmodelle (LLMs) und generativer KI im Kontext von Statusaktualisierungen bei Vorfällen bei PagerDuty. Moderator und Gäste erörtern, wie wichtig es ist, Kontext in die Technologie einzubetten und ein zu offenes Gesprächsfenster zu vermeiden, um die Benutzerfreundlichkeit zu verbessern. Leeor Engel betont die Notwendigkeit menschlicher Interaktion, um Kundenvertrauen und Zuverlässigkeit zu gewährleisten und Nutzern die Möglichkeit zu geben, generierte Inhalte vor dem Versand zu verfeinern und zu korrigieren. Das Gespräch beleuchtet die Komplexität von Statusaktualisierungen während Vorfällen, hebt verschiedene Phasen und den mit der ersten Aktualisierung verbundenen Stress hervor. Everaldo Aguiar erörtert, wie LLMs mit ihrer Fähigkeit, Kontext abzurufen und zu speichern, die Vorfallbearbeitung revolutionieren und eine einzigartige Interaktionsschnittstelle bieten. Das Interview unterstreicht die Bedeutung von LLMs für die Überwindung von Sprachbarrieren und Schreibblockaden und ermöglicht die Generierung von Zusammenfassungen, die Nutzer vor der Kommunikation mit Stakeholdern überprüfen können.

„Diese Technologie, die es ermöglicht, Daten aus verschiedenen Quellen zu sammeln und eine Zusammenfassung zu erstellen, während gleichzeitig sichergestellt wird, dass ich stets informiert bin und die Möglichkeit habe, die an meine Stakeholder gesendeten Informationen zu überprüfen, war definitiv etwas, das uns noch vor einem Jahr nicht zur Verfügung stand.“

Das Gespräch dreht sich um die Implementierung der neuen Technologie und die Herausforderungen, eine positive Nutzererfahrung mit großen Sprachmodellen (LLMs) und generativer KI zu gewährleisten. Ben Wiegelmann erläutert die drei Phasen, die Nutzer typischerweise bei der Interaktion mit Produkten wie ChatGPT durchlaufen, und betont, wie wichtig es ist, die Nutzererfahrung zu vereinfachen, um Frustration zu vermeiden und die Entwicklung zu beschleunigen. Leeor Engel hebt die Komplexität im Hintergrund hervor und betont die Notwendigkeit, sich an die unterschiedlichen Interaktionsweisen der Kunden mit PagerDuty anzupassen und gleichzeitig eine durchgängig positive Nutzererfahrung zu gewährleisten. Everaldo Aguiar ergänzt die Diskussion um wichtige Aspekte und erklärt, dass die Ausgabe von LLMs selbst bei Abstraktion der Eingabeaufforderungen variieren kann. Dies erfordert zusätzliche Einschränkungen, um sicherzustellen, dass relevante und angemessene Informationen generiert werden, wobei Faktoren wie zeitliche Details berücksichtigt und unnötige Informationen vermieden werden.

„Was wir mit unserem Produkt versucht haben, war Folgendes: Wir haben gute KI-Experten in unserem Team, richtig? Sie sind Experten im Verfassen von Eingabeaufforderungen, und wir reduzieren den Vorgang auf einen Klick für den jeweiligen Anwendungsfall, sodass der Benutzer diese Magie mit einem Klick erleben kann und sich nicht mit Frustration herumschlagen muss [und] sich nicht in die Entwicklung von Eingabeaufforderungen einarbeiten muss.“

Die Diskussion konzentriert sich anschließend auf die Verbindung von Kunst und Wissenschaft bei der Implementierung großer Sprachmodelle (LLMs) und generativer KI, wobei die Bedeutung der Integration bewährter Verfahren in die Technologie hervorgehoben wird. Das Gespräch beleuchtet die Herausforderungen bei der Zusammenführung von Prompt-Entwicklung und Optimierungsprozessen und greift dabei auf die über Jahre gesammelten impliziten Best Practices zurück. Die Interviewpartner erörtern, wie wichtig es ist, Wissen über Daten und Optimierungsprozesse in die Prompts einzubeziehen, um die Nutzer zu einer effektiven Nutzung der Technologie anzuleiten. Das Gespräch streift außerdem … PagerDutys Operationsleitfäden Diese werden öffentlich geteilt und nun in das Produkt integriert, um Nutzern Best Practices für die Reaktion auf Vorfälle und die Kommunikation zu bieten. Im weiteren Verlauf des Interviews wird auf die Datenquellen eingegangen und die Nutzung von Konversationen in Slack, Notizen in der Benutzeroberfläche und automatisierten Zeitleistenaktualisierungen zur Verbesserung der Informationsqualität der LLM-Modelle beleuchtet.

„Es geht nicht nur darum, dass wir dem Benutzer Zeit sparen, weil wir wissen: ‚Hey, diese Daten sind in diesem Kontext wertvoll‘, sondern auch darum, wie man sie richtig aufbereitet. Diese beiden Dinge – das Wissen über die Daten und die Prozessoptimierung – greifen ineinander.“

Das Interview schließt mit einer Diskussion über die Flexibilität der Kommunikationskanäle für Vorfalldaten. Dabei wird die Bedeutung qualitativ hochwertiger Daten für effektive KI-Ergebnisse hervorgehoben. Das Team zeigt sich begeistert von der sich stetig weiterentwickelnden Technologielandschaft, der rasanten Entwicklung von KI-Funktionen und dem einzigartigen Ansatz von PagerDuty, Technologie in das Produkt zu integrieren. Sie betonen die Wichtigkeit von Nutzerfeedback und arbeiten kontinuierlich an der Technologie, um die Kundenerwartungen zu übertreffen. Das Gespräch endet mit einem Fokus auf das Potenzial von KI, zu beeindrucken, und der Erwartung, das System im Laufe der Zeit weiter zu verfeinern und zu verbessern.

„Wir sind der Ansicht, dass wir flexibel sein und auch die Datenquellen wechseln sollten. Das führt uns zurück zu diesem Big-Data-Zitat […] „Müll rein, Müll raus.“ Und genau das ist auch unser Problem mit KI. Es geht nicht nur um Big-Data-Analysen, sondern auch heute noch um KI: Wir brauchen gute Daten, um gute Ergebnisse zu erzielen.“

Sehen Sie sich das Interview an: