5 Tipps, um AgenticOps einzuführen

Sind Ihre Prozesse Agentic-AI-ready?DC Studio | shutterstock.com



Immer mehr Unternehmen entwickeln eigene KI-Agenten oder experimentieren damit. Rapid-Deployment-Initiativen in Zusammenhang mit KI-Agenten bergen dabei insbesondere operative und sicherheitstechnische Risiken. Das erfordert neue Methoden für den Betrieb von Agentic-AI-Systemen. An dieser Stelle kommt AgenticOps ins Spiel. Die Methodologie erweitert DevOps-Praktiken und ITSM-Funktionen, um KI-Agenten abzusichern und zu überwachen.  



Das ergibt Sinn, weil es nicht reicht, Kennzahlen auf Systemebene im Blick zu behalten, um Probleme in Zusammenhang mit KI-Agenten zu adressieren. IT-Teams und -Entscheidern ist deshalb zu empfehlen, sich jetzt mit dem Thema auseinanderzusetzen. In diesem Artikel werfen wir zunächst einen Blick darauf, was AgenticOps eigentlich genau ist. Anschließend geben wir Ihnen fünf Tipps an die Hand, um direkt damit zu beginnen, diese Methodologie in ihre Arbeitsabläufe zu integrieren.



AgenticOps – was ist das?



AgenticOps baut auf mehreren bestehenden IT-Betriebsfunktionen auf:




AIops entstand vor einigen Jahren, um viele voneinander unabhängige Monitoring-Tools zu konsolidieren. AIops-Plattformen zentralisieren Logfiles und andere Observability-Daten und wenden Machine Learning an, um Warnmeldungen zu Vorfällen zu korrelieren, die managebar sind.



Modelops entstand als separate Funktion, um Machine-Learning-Modelle in der Produktion auf Model Drift und andere betriebliche Probleme zu überwachen.



Durch die Kombination von Platform Engineering, der Automatisierung von IT-Prozessen und dem Einsatz von Generative AI im IT-Betrieb können IT-Teams ihre Zusammenarbeit weiter optimieren und Incidents effizient lösen.




AgenticOps unterstützt darüber hinaus auch die besonderen betrieblichen Anforderungen, die das Management von KI-Agenten (im Vergleich zu Applikationen, Web Services und KI-Modellen) mit sich bringt – und stellt der IT parallel neue KI-Funktionen zur Verfügung. DJ Sampath, SVP der AI Software und Platform Group bei Cisco, formuliert drei Kernanforderungen für AgenticOps:




Daten aus mehreren operativen Silos zentralisieren,



die Zusammenarbeit zwischen Menschen und KI-Agenten unterstützen, sowie



speziell entwickelte KI-Sprachmodelle einzusetzen, die Netzwerke, Infrastruktur und Anwendungen “verstehen”.




“KI-Agenten in der Produktion brauchen ein anderes Playbook, weil ihre Outputs im Gegensatz zu herkömmlichen Anwendungen variieren”, erklärt Rajeev Butani, Vorsitzender und CEO von MediaMint. Daher müssten IT-Teams nicht nur die Uptime, sondern auch Aspekte wie Containment, Kosten pro Aktion und Eskalationsraten berücksichtigen. “Die eigentliche Herausforderung besteht nicht darin, Vorfälle zu vermeiden, sondern zu beweisen, dass die Agenten zuverlässige, wiederholbare Ergebnisse in großem Maßstab liefern”, konstatiert Butani.



AgenticOps einführen: 5 Methoden, um zu starten



Die folgenden fünf AgenticOps-Methoden können IT-Teams, die mit KI-Agenten für die Produktion planen, jetzt integrieren.



1. KI-Agenten mit Identitäten und Security-Profilen ausstatten



Es ist empfehlenswert, KI-Agenten ebenso wie Menschen mit Identitäten, Berechtigungen und Zugriffsrechten auszustatten. Dazu empfehlen sich IAM-Plattformen. Jason Sabin, CTO von DigiCert, erklärt, warum das so ist: “KI-Agenten passen sich an und lernen. Deswegen benötigen sie starke kryptografische Identitäten und digitale Zertifikate, die es möglich machen, den Zugriff sofort zu widerrufen, falls ein Agent kompromittiert wird oder sich unzulässig verhält.”



Agenten-Identitäten auf diese Weise aufzusetzen, verankere digitales Vertrauen und Verantwortlichkeit in der gesamten Sicherheitsarchitektur, hält Sabin fest.



Empfehlung: Architekten, DevOps-Ingenieure und Sicherheitsverantwortliche sollten bei der Einführung von KI-Agenten gemeinsam Standards für IAM und digitale Zertifikate festlegen. Es ist außerdem davon auszugehen, dass sich die Funktionen weiterentwickeln werden, insbesondere wenn die Anzahl der KI-Agenten weiter zunimmt. Dann werden möglicherweise auch spezielle Tools und Konfigurationen erforderlich.



2. Platform Engineering, Observability und Monitoring erweitern



Als Hybrid aus Anwendungen, Daten-Pipelines, KI-Modellen, Integrationen und APIs erfordern KI-Agenten, existierende DevOps-Methoden zu kombinieren und zu erweitern. So gilt es etwa mit Blick auf Platform Engineering, unstrukturierte Daten-Pipelines, MCP-Integrationen und Feedback-Schleifen für KI-Modelle zu berücksichtigen.



“Plattform-Teams werden eine wichtige Rolle dabei spielen, wenn es darum geht, KI-Agenten aus der Pilotphase in die Produktion zu überführen”, meint Christian Posta, Global Field CTO von Solo.io. Das erfordere “kontextsensitives” Platform Engineering – nicht nur bezogen auf die Infrastruktur, sondern auch auf Stateful Prompts, Entscheidungen und Datenflüsse, auf die sich KI-Agenten und LLMs stützen, so Posta.



Ebenso müssen Observability- und Monitoring-Tools in der Lage sein, mehr als nur Verfügbarkeit, Zuverlässigkeit, Fehler und Leistung zu diagnostizieren. Federico Larsen, CTO von Copado, erklärt: “KI-Agenten erfordern ein mehrschichtiges Monitoring, das Performance-Metriken, Entscheidungs-Protokolle und Behavior Tracking umfasst.”



Empfehlung: DevOps-Teams müssen für die ersten Agenten, die in der Produktion eingesetzt werden, die minimal erforderlichen Konfigurationen und Standards für Platform Engineering, Observability und Monitoring definieren. Anschließend sollten sie ihre Anbieter im Blick behalten und regelmäßig auch neue Tools prüfen. Schließlich wird es immer mehr zum Mainstream, KI-Agenten zu entwickeln.



3. Incident Management und Ursachenanalyse upgraden



Site Reliability Engineers (SREs) haben oft Schwierigkeiten, die Ursachen für Probleme mit Anwendungen und Daten-Pipelines zu identifizieren. Mit KI-Agenten werden die Spezialisten allerdings mit noch deutlich größeren Herausforderungen konfrontiert. Wenn ein KI-Agent halluziniert oder unangemessene Aktionen automatisiert, müssen Datenquellen, Modelle, Argumentationen, Befugnisse und Geschäftsregeln des Agenten zurückverfolgt werden, um die Ursache hierfür zu ermitteln.



“Observability im traditionellen Sinn reicht für KI-Agenten nicht aus, weil sie lediglich Auskunft über Erfolg oder Misserfolg gibt”, hält Kurt Muehmel, Head of AI Strategy bei Daitaku, fest. “Bei KI-Agenten geht es darum, den Argumentationsweg nachzuvollziehen. Also, welche Daten der Agent verwendet hat, welche Modelle ihn beeinflusst und welche Regeln seinen Output geprägt haben.”



Nach Ansicht des Daitaku-Managers benötigen Unternehmen Tools, um die Entstehung von Entscheidungen zu überprüfen und die Orchestrierung zu optimieren – oder wie Muehmel es ausdrückt: “Sie müssen unter die Haube schauen, statt nur danach fragen, was schiefgelaufen ist.”



Andy Sen, CTO von AppDirect, empfiehlt an dieser Stelle: “Wenn Vorfälle mit KI-Agenten auftreten, behalten Sie die bestehenden Prozesse für Ursachenanalyse und Nachbesprechungen bei. Anschließend stellen Sie diese Daten dem Agenten als Feedback für kontinuierliche Verbesserungen zur Verfügung.”



Dieser integrierte Ansatz für Observability, Incident Management und User Support verbessere nicht nur die Agenten-Performance, sondern gewährleiste auch eine sichere und effiziente Betriebsumgebung, so Sen.



Empfehlung: Wählen Sie die richtigen Tools und schulen Sie SREs in Sachen Data Lineage, Provenance und Datenqualität. Diese Bereiche sind entscheidend, um den IT-Betriebs für das Incident- und Problem-Management im Zusammenhang mit KI-Agenten fit zu machen.



4. KPIs tracken



Die meisten DevOps-Organisationen betrachten weit mehr Metriken als nur die Verfügbarkeit und die Systemleistung, um die Zuverlässigkeit einer Anwendung zu beurteilen. SREs verwalten Error Budgets, um Anwendungsverbesserungen voranzutreiben und technische Schulden zu reduzieren.



Standardmäßige SRE-Praktiken, um Business Impact zu verstehen und subtilen Fehlern auf den Grund zu gehen, werden noch wichtiger, wenn es darum geht, KI-Agenten zu tracken. Die Experten, mit denen wir zum Thema gesprochen haben, haben drei Bereiche identifiziert, die unter Umständen neue KPIs und Metriken erforderlich machen, um das Verhalten eines KI-Agenten und die Vorteile für den Endbenutzer kontinuierlich zu verfolgen.




“KPIs zu definieren, kann Ihnen dabei helfen, ein geeignetes Monitoring-System einzurichten”, meint etwa Craig Wiley, Senior Director of Product für AI/ML bei Databricks. Wie der Experte festhält, müsse die Genauigkeit beispielsweise bei über 95 Prozent liegen, um Unternehmen ein robustes, zentralisiertes Sichtbarkeits- und Reaktionssystem zu bieten.



Jacob Leverich, Mitbegründer und CPO von Observe, Inc. setzt einen anderen Fokus: “Mit KI-Agenten können Teams stark von einzelnen Modellanbietern abhängig werden. Es ist deshalb entscheidend, die Token-Nutzung zu überwachen und zu verstehen, wie sich die Kosten, die mit der Nutzung von LLMs verbunden sind, optimieren lassen.”



Für Ryan Peterson, EVP und CPO bei Concentrix, nimmt in erster Linie das Thema Daten in den Blick: “Data Readiness ist nichts, was man einmal erlangt. Das erfordert kontinuierliche Audits mit Blick auf Aktualität und Genauigkeit, Bias-Tests sowie ein Alignment mit der jeweiligen Markensprache. Metriken wie die Abdeckung der Wissensdatenbank, die Aktualisierungshäufigkeit und die Fehlerquoten stellen die eigentlichen Tests für KI-fähige Daten dar.”




Empfehlung: Führungskräfte sollten mit Blick auf KI-Agenten ein ganzheitliches Modell für operative Metriken definieren. Dieses kann mithilfe von Drittanbieter- und intern entwickelten, proprietären Agenten implementiert werden.



5. User Feedback erfassen



DevOps- und ITops-Teams übersehen manchmal, wie wichtig es ist, die Zufriedenheit von Kunden und Mitarbeitern zu tracken. Endbenutzer-Metriken und -Feedback dem Product Management oder den Stakeholdern zu überlassen, ist kurzsichtig. Und soll Support für KI-Agenten geleistet werden, werden diese Reviews noch wichtiger.



Saurabh Sodani, Chief Development Officer bei Pendo, erklärt: “Es reicht nicht, nur zu erfassen, ob ein Agent reagiert. Das Agentenverhalten und die User Experience müssen miteinander verknüpft werden. Nur so lässt sich feststellen, ob ein Agent einem User wirklich dabei hilft, einen Task zu bearbeiten, ein Problem zu lösen oder einen Workflow zu bewältigen – und dabei den Compliance-Anforderungen gerecht wird.”



Erst dieses Maß an Einblick ermögliche es den Teams, die Performance zu überwachen, auf Probleme zu reagieren und kontinuierlich zu verbessern, wie Agenten Benutzer in interaktiven, autonomen und asynchronen Modi unterstützen, so der Dev-Profi.



Empfehlung: Benutzer-Feedback ist eine essenzielle Operations-Datenquelle, die bei AIops und Incident Management nicht außer Acht gelassen werden sollte. Diese Daten helfen nicht nur dabei, Probleme mit KI-Agenten zu lösen. Sie sollten auch in die Sprach- und Reasoning-Modelle zurückfließen, auf denen die KI-Agenten fußen. (fm)