Generative KI wird voraussichtlich massive Auswirkungen auf die Wirtschaft haben. Diese Schlagzeilen veranlassen Softwareteams dazu, schnell zu überlegen, wie sie generative KI in ihre Software integrieren können, um nicht in einem disruptiven Wandel den Anschluss zu verlieren. Doch im Zuge einer disruptiven Technologie besteht auch ein hohes Risiko, Investitionen zu vergeuden und das Vertrauen der Kunden zu verlieren.

Wie können Softwareteams mithilfe generativer KI schnell überzeugende Funktionen entwickeln, ohne Ressourcen zu verschwenden, hohe technische Schulden zu machen oder das Vertrauen der Kunden zu verlieren? Nach Gesprächen mit Datenwissenschaftlern, Dateningenieuren und Produktmanagern, die an KI-generierten Funktionen arbeiten, haben sich einige Muster herauskristallisiert.

1. Haben Sie einen klaren Anwendungsfall, der ein Problem löst

Man lässt sich leicht vom Hype einer schnelllebigen Technologie mitreißen. Doch nichts ist verschwenderischer, als auf der Suche nach einem Problem eine Lösung zu entwickeln. In einem kürzlichen Interview sagte Mitra Goswami , Senior Director of Data Science bei PagerDuty, betont die Notwendigkeit, sich auf einen Anwendungsfall zu konzentrieren: „Welches Problem versuchen Sie letztendlich zu lösen?“

Dieser Rat ist nicht nur philosophisch fundiert. Er hat direkten Einfluss auf wichtige Entscheidungen, die Sie treffen müssen. „Manche Modelle sind zu groß“, sagte Goswami über die Art und Weise, wie der Anwendungsfall Anforderungen mit sich bringen kann. „Große Sprachmodelle wie GPT 3.5 oder 4 wirken beispielsweise fast magisch, können aber enorme Mengen an Prozessorzyklen verbrauchen und kostspielig sein. Kleinere, branchen- oder geschäftsorientiertere Sprachmodelle liefern oft bessere, auf die Geschäftsanforderungen zugeschnittene Ergebnisse und weisen eine geringere Latenz auf, insbesondere bei Echtzeitanwendungen.“

Um einen Anwendungsfall zu identifizieren, ist es hilfreich, sich den Anwendungsfall zu überlegen, den Sie lösen möchten: Zusammenfassung, Chatbots, Codegenerierung. Um den Umfang noch weiter zu vertiefen, stellte Goswami weitere Fragen. Sie empfiehlt, die Auswirkungen auf die Kunden zu berücksichtigen: „Bringt dieser Anwendungsfall meinen Kunden Erleichterung? Spart er ihnen Geld?“ Durch das Testen Ihrer Anwendungsfälle auf diese Weise stellen Sie sicher, dass Sie etwas entwickeln, das Mehrwert bietet.

2. Sorgen Sie für eine solide Datengrundlage

Unternehmen, die bereits seit längerem datenintensive Funktionen entwickeln, müssen mit generativer KI nicht bei Null anfangen. „Wir beschäftigen uns schon lange mit KI“, erklärte Goswami. Sie hält eine solide Datenarchitektur für entscheidend, um mit generativer KI schnell voranzukommen. Laut Goswami ist eine robuste Infrastruktur unerlässlich, um die Möglichkeiten von Sprachmodellen (LLMs) und LLM-Anbietern effektiv zu nutzen.

An erster Stelle steht eine Datenspeicherlösung, oft ein Data Lake, der für die Speicherung großer Textdatenmengen für das Training und die Feinabstimmung von Modellen unerlässlich ist. Skalierbarkeit ist ebenfalls entscheidend, um variable Arbeitslasten zu bewältigen, während eine gut konzipierte API-Schicht die nahtlose Integration mit LLM-Diensten ermöglicht. Umfassende Überwachungs-, Protokollierungs- und Kostenmanagementsysteme tragen dazu bei, die Infrastruktur intakt zu halten und die Kosten zu optimieren.

Was bedeutet es, wenn eine Datenumgebung gesund ist? Laut Manu Raj , Senior Director of Analytics and Data Engineering bei PagerDuty, gibt es einige wichtige Anforderungen. „Es ist absolut notwendig, dass [Sie] über die grundlegenden Elemente verfügen, um die Datenqualität und Datenbeobachtung aufrechtzuerhalten.“

3. Bleiben Sie flexibel in Ihrem Ansatz

Das Tempo des KI-Veränderungsprozesses ist enorm. ChatGPT wurde vor weniger als einem Jahr eingeführt und hatte in weniger als zwei Monaten 100 Millionen Nutzer. Im Juli 2023 sorgte Meta mit der Veröffentlichung von Llama 2 erneut für Aufsehen. Dank starker Open-Source-Beteiligung und hoher Investitionen entwickeln sich die zugrunde liegenden Large Language Models (LLMs) und die dazugehörigen Dienste ständig weiter. Und zwar schnell.

Für Datenwissenschaftler und -ingenieure bedeutet dies eine sich ständig verändernde Auswahl an Optionen. Auf klare Gewinner zu warten, ist jedoch keine Option. Das Risiko, zu lange mit der Entwicklung zu warten, wird gegen das Risiko abgewogen, auf einer veralteten Technologie aufzubauen. Die Balance zwischen Fortschritt und potenziellem Veränderungsbedarf erfordert einen flexiblen Ansatz.

„Wir waren bei der Wahl des Modells sehr flexibel“, erklärte Goswami. Flexibilität ermöglicht dem Team künftige Anpassungen, falls erforderlich. Das bedeutet aber nicht, dass ständige Veränderungen notwendig sind. Goswami betonte, dass man auf den jeweiligen Anwendungsfall hinarbeiten und nicht nur um der Veränderung willen verändern müsse. „Es ist ein sich ständig weiterentwickelndes Feld, daher muss man sich in eine bestimmte Richtung bewegen“, bemerkte sie. „Ändern Sie nicht jeden Tag, denn dieses Feld entwickelt sich stark weiter. Arbeiten Sie auf etwas hin.“

4. Beginnen Sie mit Designprinzipien

So beliebt „Schnell handeln und Dinge kaputt machen“ auch als Entwicklungsmantra ist, dieser Ansatz kann zu toxischer Technologieverschuldung führen. Langsame und aufwendige Architekturprüfungen können Innovationen jedoch hemmen. Wie gelang es Goswami und seinem Team, schnell voranzukommen, ohne die Architektur in die Enge zu treiben?

„Wir haben schon früh mit der Erstellung eines Designdokuments begonnen“, erklärte sie. Das Dokument enthält Architekturmuster und beschreibt, wie mit Anbietern oder Open-Source-Modellen interagiert werden soll. Dies bietet dem Team künftige Flexibilität und minimiert Störungen. „Beim Aufbau einer Language Model-as-a-Service-Architektur ist es aus mehreren Gründen von größter Bedeutung, mit Designprinzipien zu beginnen. Designprinzipien dienen als Orientierungsrahmen und stellen sicher, dass die Architektur auf die angestrebten Ziele ausgerichtet ist, sei es natürliches Sprachverständnis, Inhaltsgenerierung oder Datenanalyse.“

Sie fördern Konsistenz und Klarheit bei der Entscheidungsfindung und führen so zu einer effizienten und hochwertigen Architektur. Designprinzipien helfen zudem dabei, sich auf ein benutzerzentriertes Design zu konzentrieren und sicherzustellen, dass die LLM-Dienste die Bedürfnisse und Erwartungen der Nutzer effektiv erfüllen. Designprinzipien sind im Wesentlichen entscheidend für die Entwicklung einer robusten, benutzerzentrierten und anpassungsfähigen LLM-Architektur. Das Data-Science-Team von PagerDuty arbeitete eng mit dem Architecture Strategy Team und Chefarchitekt Philip Jacob zusammen, um eine LLM-as-a-Service-Architektur zu entwickeln.

Indem das Team davon ausgeht, dass Veränderungen unvermeidlich sind, kann es Veränderungen planen. Um Veränderungen zu planen, müssen die Schnittstellen und Interaktionen zwischen verschiedenen Komponenten berücksichtigt werden. So kann sich eine Komponente – beispielsweise ein LLM – mit klaren Auswirkungen auf die restliche Architektur ändern. Als Ich habe schon einmal darüber geschrieben Zu den weiteren nützlichen Elementen zur Unterstützung von Änderungen zählen Tests und CI/CD-Pipelines.

5. Legen Sie klare Richtlinien für Datenschutz und Verantwortung fest

Datenschutz ist für Nutzer oberstes Gebot, wenn sie neue Funktionen und Produkte auf Basis von LLMs betrachten. Vertrauen aufzubauen ist eine gemeinsame Verantwortung vieler Teams, vom Produkt bis zur Datenwissenschaft und darüber hinaus. Um verantwortungsvolles Arbeiten zu gewährleisten, empfiehlt Goswami Richtlinien, an denen sich Teams orientieren können.

„Wir müssen sehr bewusst mit unseren Daten umgehen“, erklärte Goswami. „Wir weisen unsere Kunden darauf hin, dass sie die Möglichkeit haben, sich anzumelden.“ Transparenz und Opt-in-Optionen sind in den öffentlichen Richtlinien von PagerDuty für die sichere Nutzung generativer KI dargelegt. Und PagerDuty ist damit nicht allein. „Immer mehr Anbieter setzen auf einen Ansatz, bei dem die Interaktion mit der KI nicht in den Trainingsdaten der KI berücksichtigt wird.“ bemerkte Jake Cohen , Senior Product Manager bei PagerDuty.

„Wir haben den Austausch mit der KI auf ein Minimum beschränkt“, erklärte Cohen. Auch über Datenschutzbedenken hinaus kann es funktionale Gründe geben, die Abhängigkeit von KI zu begrenzen. Cohen beschrieb, wie er die Nutzung von KI in KI-generierten Runbooks isoliert. „Wir denken sehr kritisch darüber nach, wofür wir KI benötigen und wo wir klassische Software einsetzen können.“

6. Einen Rahmen zum Vergleichen haben

Datenwissenschaftler nutzen seit langem Vertrauenswerte für prädiktive Modelle und andere Methoden, um die Ergebnisse eines Modells zu verstehen und zu bewerten. Auf dieser Grundlage können Teams den schnellsten und effizientesten Ansatz finden, der die gewünschte Genauigkeit erreicht. Ebenso ist die Genauigkeit der generativen KI nur ein zu bewertender Faktor.

„Wer nicht misst, weiß nicht, wovon er spricht“, erklärte Goswami. „Wir wollten quantitativ vorgehen und haben daher ein Framework entwickelt.“ Goswami und sein Team berücksichtigten verschiedene Faktoren wie Kosten, Latenz und Genauigkeit. „Wir haben ein Framework entwickelt, das uns den Vergleich dieser Elemente über das gesamte Portfolio der uns zur Verfügung stehenden LLMs hinweg erleichtert.“

Ein solcher Rahmen hilft auch bei der Entwicklung neuer LLMs oder anderer Technologieoptionen. Das Team kann neue Optionen mit allen zuvor getesteten vergleichen. Anstatt dem Hype hinterherzujagen, kann das Team datenbasierte Entscheidungen darüber treffen, welche neuen Optionen verfolgt werden sollen. Bestehende Optionen können regelmäßig anhand dieser Benchmarks getestet werden, um sicherzustellen, dass die Leistung im Vergleich zu anderen Optionen nicht abnimmt.

7. Best Practices integrieren

Bei jeder Art von Automatisierung besteht die Möglichkeit, die korrekte Vorgehensweise zu kodieren. Schließlich sind Computer besser als Menschen geeignet, sich wiederholende Aufgaben immer wieder auf die gleiche Weise zu erledigen. Eine ähnliche Möglichkeit bietet sich beim Bauen mit generativer KI. Im Gegensatz zu einem offenen Eingabefeld ermöglicht ein strukturierterer Ansatz für KI-generierte Ergebnisse den Nutzern, von Fachwissen zu profitieren.

Ein Beispiel dafür ist, wie die KI-generierten Runbooks von PagerDuty so konzipiert sind, dass sie Plug-ins nutzen, sofern diese verfügbar sind. Anstatt eine Verbindung zu einem anderen System wie Ansible oder einem AWS-Service neu herzustellen, verwendet die KI das Plug-in erneut. Cohen wies neben der Wiederverwendung auch darauf hin, dass dieser Ansatz einfacher zu handhaben ist: „Der Vorteil der Aufteilung des Workflows in diese Schritte, die die Vorteile dieser Plug-ins nutzen, besteht darin, dass der Job dadurch veränderlicher und debugbarer wird.“

Einige Best Practices lassen sich nicht direkt in die Ausgabe integrieren, können aber in die Benutzererfahrung einfließen. „Wir haben uns dafür entschieden, bei jedem Job, der mithilfe der KI generiert wird, einen fettgedruckten Hinweis in der Jobbeschreibung zu platzieren: ‚Hinweis: Dieser Job wurde von der KI generiert. Es empfiehlt sich, ihn zu überprüfen und den ersten Aufruf in einer nicht unternehmenskritischen Umgebung durchzuführen.‘“, beschrieb Cohen. „Dasselbe gilt für neue Automatisierungen, die von Menschen erstellt werden, selbst von erfahrenen.“ Indem wir Menschen an die Best Practices mit KI-Ausgaben erinnern, können sich jüngere Teammitglieder schnell und sicher einarbeiten.
Durch die Anwendung dieser Praktiken konnte das PagerDuty Team mithilfe generativer KI schnell nützliche Funktionen für Kunden entwickeln. Sie reduzieren außerdem das Risiko von technischen Schulden, Zeit- und Ressourcenverschwendung und dem Verlust des Kundenvertrauens. Erfahren Sie mehr über PagerDutys Erkenntnisse aus der Entwicklung mit LLMs für die Reaktion auf Vorfälle .