10 Release-Kriterien für KI-Agenten

Sind Ihre KI-Agenten bereit durchzustarten?JRadovic | shutterstock.com



Bevor die NASA eine Rakete ins All starten lässt, sind rund 490 „Launch Readiness“-Kriterien zu erfüllen. Eine entsprechende Checkliste stellt dabei sicher, dass sämtliche Betriebs- und Sicherheitssysteme bereit sind. Ähnlich läuft das auch im DevOps-Universum ab – nur mit Automatisierung und CI/CD-Pipelines. Und auch für zuverlässige Continuous Deployments sind eine ganze Reihe von Kriterien zu erfüllen. Gerade der zunehmende Einsatz von KI-Agenten in Unternehmen macht eine Checkliste unerlässlich, die Auskunft über die Release-Bereitschaft gibt.



Für diesen Artikel haben wir mit verschiedenen Experten gesprochen, die wissen, worauf es diesbezüglich konkret ankommt. Das Ergebnis ist eine Checkliste, die Devops-, Data-Science- und Infrastruktur-Teams Auskunft darüber geben kann, wie „Launch ready“ Ihre KI-Agenten sind.  



1. Value-Metriken etablieren



Teams, die an KI-Agenten arbeiten, benötigen ein gemeinsames Verständnis der „Vision-to-Value“. Ein Mission Statement vor der Entwicklung auszuarbeiten, sorgt dafür, dass die Stakeholder auf einer Linie sind. Wertkennzahlen zu erfassen hilft dabei, zu ermitteln, ob der richtige Weg beschritten wird. Ein definiertes Value-Ziel unterstützt das Team darüber hinaus bei der Entscheidung, wann der Switch von der Beta- in die Produktionsphase erfolgen soll.



„Viele Unternehmen tracken zwar Metriken in Zusammenhang mit KI-Modellen, vernachlässigen aber, den Value zu tracken. Um sicherzustellen, dass Implementierungen einen messbaren Wert – und nicht nur technische Performance – bringen, brauchen Unternehmen ein Messsystem, dass die Agentic-AI-Aktivitäten mit Geschäftsergebnissen verknüpft“, appelliert Jed Dougherty, Head of AI Architecture beim Data-Science-Spezialisten Daitaku.



Tipp für die Checkliste: Identifizieren Sie Wertkennzahlen, die als Frühindikatoren für den KI-ROI dienen können. Mit Blick auf den Agentic-AI-Anwendungsfall Kundenservice könnten das beispielsweise Ticket-Lösungszeiten oder Kundenzufriedenheitsbewertungen (die die Performance von Menschen und KI-Agenten vergleichen) sein.



2. Trust-Faktoren definieren



Gute IT-Organisationen wissen um die Bedeutung eines Change-Management-Programms für KI – bevor KI-Agenten entwickelt und getestet werden. Schließlich geht es dabei darum, die Akzeptanz für die Technologie innerhalb der Belegschaft zu erhöhen und Vertrauen in diese aufzubauen.  



Ryan Peterson, Account Executive bei Salesforce, erklärt: „Vertrauen beginnt mit sauberen, konsistenten und strukturierten Daten, die regelmäßig aktualisiert und durch klare Ownership-Strukturen geschützt werden. Nur so können Ihre Agenten aus den richtigen Informationen lernen.“



Tipp für die Checkliste: Checklisten zur Release-Readiness sollten Trust-Kriterien enthalten – etwa einen Change-Plan, sowie die Akzeptanz- und Engagement-Raten der Endbenutzer.



3. Datenqualität messen



Für KI-Agenten, die auf Unternehmensdaten trainiert werden, ist die Qualität dieser Daten entscheidend. Anwenderunternehmen ist daher zu empfehlen, klare Metriken hierfür zu definieren, bevor Funktionen für die Belegschaft freigegeben werden.



Experten wie Felix Van de Maele, CEO des Data-Governance-Unternehmens Collibra, empfehlen deshalb, Datenqualitätspraktiken über strukturierte Datenquellen hinaus auszuweiten: „Insbesondere bei unstrukturierten Daten entscheidet die Qualität darüber, ob KI den Fortschritt vorantreibt oder in Komplexität versinkt.“



Die Definition von hochwertigen Daten variiert dabei je nach Branche und Agentic-AI-Einsatzgebiet. Trotzdem geht es am Ende um das gleiche Ziel, wie Peter Albert, CISO bei InfluxData, unterstreicht: „Jeder, der für den Einsatz eines KI-Agenten verantwortlich zeichnet, sollte die Definition von Qualität in seinem Unternehmen verstehen, wissen, wie man diese überprüft, und Workflows einrichten, die es den Benutzern leicht machen, Feedback zur Agenten-Performance zu geben.“



Tipp für die Checkliste: Nutzen Sie Datenqualitäts-Metriken, um sicherzustellen, dass ihre Informationen genau, vollständig, konsistent, aktuell, eindeutig und valide sind. Das sollten Sie möglichst erledigen, bevor diese Daten dazu verwendet werden, Agentic-AI-Systeme zu entwickeln oder zu trainieren.



4. Compliance sicherstellen



Selbst wenn ein Datenprodukt die qualitativen Anforderungen für den Agentic-AI-Einsatz erfüllt, ist das kein Freifahrtschein für sämtliche Anwendungsfälle. Denn es ist auch noch zu definieren, inwiefern die Nutzung dieses Datenprodukts durch einen KI-Agenten die gesetzlichen sowie internen Compliance-Erfordernisse abdeckt.



Ojas Rege, SVP und GM für Data Privacy und -Governance beim Sicherheitsanbieter OneTrust, plädiert diesbezüglich für einen umfassenden Ansatz: „Überprüfen Sie in jeder Hinsicht, ob der Agent die Daten verwenden darf. Wenn falsche Daten einfließen, kann sich der negative Impact schnell potenzieren. Diesen Aspekt proaktiv zu steuern, kann das verhindern.“



Tipp für die Checkliste: Neben gängigen, allgemeinen Rahmenwerken wie DSGVO und EU AI Act, sollten Sie auch branchenspezifische Erfordernisse, denen Ihr Unternehmen unterliegt, nicht außer Acht lassen.



5. Dataops-Zuverlässigkeit validieren



Es stellt sich die Frage, ob Ihre Daten-Pipelines zuverlässig und robust genug sind für KI-Agenten. Schließlich wurden erstgenannte in der Regel dafür entwickelt, um Datenvisualisierungen und kleinere ML-Modelle zu unterstützen. Und weil KI-Agenten sich immer weiter ausbreiten, steigen die Anforderungen an Datenverfügbarkeit und Pipeline-Performance weiter.



Deshalb setzen viele Unternehmen inzwischen auf eine Data Fabric, um den Zugriff auf Datenressourcen für verschiedene Geschäftszwecke – inklusive Agentic AI – zu zentralisieren.



Tipp für die Checkliste: Wenden Sie SRE-Praktiken auf Daten-Pipelines und DataOps an. Definieren Sie Service Level Objectives, messen Sie Fehlerraten und investieren Sie bei Bedarf in eine optimierte Infrastruktur.



6. Design-Prinzipien kommunizieren



Immer mehr Unternehmen streben danach, Wettbewerbsvorteile durch KI zu erzielen. Dazu wird die Mehrheit KI-Agenten in Betracht ziehen, die auf die hauseigenen Workflows und Customer Experiences zugeschnitten sind. Weil es kostspielig sein kann, einen solchen Agenten von technischen Schulden zu befreien, sollten Softwarearchitekten und Delivery-Manager Designprinzipien definieren – und kommunizieren.



Geht es nach Nikhil Mungel, Head of AI R&D beim Plattformanbieter Cribl, sollten Sie:




Zugriffsrechte so früh wie möglich in der Inferenz-Pipeline validieren, um zu verhindern, dass unerwünschte Daten die Kontextphase erreichen und in den Output des Agenten einfließen;



unveränderliche Audit-Protokolle führen, die sämtliche Aktionen des Agenten umfassen sowie die zugehörigen, menschlichen Genehmigungen;



Guardrails und Adversarial Testing einsetzen, um sicherzustellen, dass KI-Agenten innerhalb ihres vorgesehenen Scopes bleiben; sowie



eine Agenten-Kollektion mit engem Scope aufbauen, weil das oft sicherer und zuverlässiger ist als ein einzelner Agent mit breitem Anwendungsbereich, der sich leicht negativ beeinflussen lässt.




Pranava Adduri, CTO und Mitbegründer des Security- und Governance-Spezialisten Bedrock Data, hat an dieser Stelle noch einige ergänzende Designprinzipien beizutragen, die sicherstellen sollen, dass sich Agenten möglichst vorhersehbar verhalten. Das erreichen Sie, indem Sie:




die programmatische Logik testen,



sicherstellen, dass die Prompts gegenüber definierten Auswertungen stabil sind,



die Systeme, aus denen die Agenten ihren Kontext beziehen, kontinuierlich auf ihre Vertrauenswürdigkeit hin überprüfen, und



Agenten mit einer Data Bill of Materials sowie den verbundenen MCP- oder A2A-Systemen mappen.




Chris Mahl, CEO des KI-Spezialisten Pryon, ergänzt: „Ein wichtiges Kriterium, das oft übersehen wird, ist die Speicherarchitektur des Agenten. Ihr System muss über ein geeignetes, mehrstufiges Caching verfügen, damit es tatsächlich aus der Nutzung lernt. Testen Sie, ob der Agent semantische Beziehungen über mehrere Sitzungen hinweg beibehält, relevante Kontexte aus früheren Interaktionen abruft – und wie er mit Speicherbeschränkungen umgeht.“



Tipp für die Checkliste: Suchen Sie nach Möglichkeiten, die unverhandelbaren Anforderungen Ihres Unternehmens in den Bereichen DevOps und Daten-Governance zu erweitern. Anschließend erstellen Sie spezifische Grundsätze für die Entwicklung von KI-Agenten.



7. Security-Vorgaben durchsetzen



IT-Führungskräfte stehen nicht selten unter Druck, Regeln zu brechen, um Agentic-AI-Systeme schneller in die Produktion zu überführen. Das kann erhebliche Risiken bergen, wie auch Elad Schulman, CEO und Mitbegründer von Lasso Security, unterstreicht: „Die häufigsten Fehler bei der Bereitstellung von Agenten sind offengelegte sensible Daten, eine unsachgemäße Zugriffsverwaltung sowie die mangelnde Durchsetzung von Richtlinien.“



Grundsätze wie das Least-Privilege-Prinzip, Richtliniendurchsetzung in Echtzeit und vollständige Observability dürften dem Sicherheitsexperten zufolge keine nachträglichen Schutzmaßnahmen darstellen.



Tipp für die Checkliste: Nutzen Sie Risikomanagement-Frameworks für KI (etwa NIST, SAIF oder AICM). Zu empfehlen ist zudem, sich mit den Best Practices von Microsoft und SANS auseinanderzusetzen.



8. KI-Infrastruktur skalieren



Selbst wenn Ihr Unternehmen Best Practices für Platform Engineering anwendet, ist es sehr wahrscheinlich, dass KI-Agenten neue Architektur- und Sicherheitsanforderungen aufwerfen.



Um eine AI-First-Infrastruktur zu skalieren und abzusichern, empfiehlt Kevin Cochrane, CMO beim Cloud-Anbieter Vultr, folgende, mehrschichtige Schutzmaßnahmen:




Tenant-Isolation und Confidential Computing,



Daten während der Übertragung und im Ruhezustand vollumfänglich zu verschlüsseln,



robuste Zugriffskontrollen und Identity Management aufzusetzen, sowie



Sicherheitsvorkehrungen auf Modellebene einzuziehen – etwa Versionierung und Nutzungsbeschränkungen.




„Durch die Integration dieser Ebenen mit Observability, Monitoring und Benutzer-Feedback-Schleifen können Unternehmen Release-Readiness erreichen und autonome KI-Experimente in sichere, skalierbare Unternehmenserfolge umwandeln“, sagt Cochrane.



Tipp für die Checkliste: Greifen Sie als Ausgangspunkt auf Referenzarchitekturen zurück. Zum Beispiel von AWS, Azure und Google Cloud.



9. Observability standardisieren



Geht es um Observability-Standards im Agentic-AI-Zeitalter, ist mehr nötig als nur grundlegende Telemetriedaten, wie Michael Whetten, SVP of Product bei Datadog, erklärt: „Jeder Modell- und Tool-Aufruf sowie jeder Workflow-Schritt bedürfen vollständiger Transparenz und kontinuierlicher Nachverfolgung.“



Seth Johnson, CTO beim KI-Plattformanbieter Cyara, legt den Fokus hingegen auf das Thema Testing: „Teams sollten darin einen Trust-Stresstest sehen: Es gilt, Fehler zu erkennen, bevor diese die Benutzer erreichen. Deshalb sollten automatisierte Tests auch Randfälle sowie Konversationsszenarien mit menschlichen Fehlern einbeziehen.“



Beim Aspekt Monitoring hat David Talby, CEO von Pacific AI, noch ein paar Tipps auf Lager: „Nach dem Release sind eine kontinuierliche Überwachung und Feedbackschleifen unerlässlich, um Abweichungen, Verzerrungen oder Sicherheitsprobleme zu erkennen, wenn sich die Bedingungen ändern.“



Tipp für die Checkliste: IT-Organisationen sollten einen Basisstandard für die Release-Bereitschaft in Bezug auf Observability, Testing und Monitoring von KI-Agenten definieren. Anschließend können die Stakeholder gemeinsam zusätzliche, spezifische Anforderungen festlegen.



10. Feedback-Schleifen für Endbenutzer kreieren



Sobald ein KI-Agent in der Produktion eingesetzt wird, sollten auch Tools und Prozesse vorhanden sein, um Feedback erfassen zu können.



Craig Wiley, VP of AI bei Databricks, erklärt, warum: „Nachdem effektive Evaluierungsrahmen entstanden sind, müssen die Teams überwachen, wie sich die Performance des KI-Systems bei Änderungen an Modellen oder System verändert. Um diese Bewertungsdaten in kontinuierliche Optimierungen transformieren zu können, ist menschliches Feedback erforderlich.“



Tipp für die Checkliste: Fordern Sie einen automatisierten Prozess für KI-Agenten, um Feedback zu erfassen und die zugrunde liegenden LLM- und Schlussfolgerungsmodelle zu verbessern. (fm)



Dieser Artikel ist im Original bei unserer Schwesterpublikation Infoworld.com erschienen.