Neue IT-Rollen fühlen der KI auf den Zahn

Neue IT-Rollen in Unternehmen setzen sich kritisch mit dem Output von KI-Tools auseinander, um die Ergebnisse künftig zu verbessern.BalanceFormCreative / Shutterstock



Derzeit gehen viele Unternehmen dazu über, Teams zusammenzustellen, um KI zu bewerten. Die hierfür neu geschaffenen Positionen, Funktionen oder Rollen werden zu einem unverzichtbaren Sicherheitsnetz für Organisationen, die KI-Tools einführen. Während immer mehr KI-Pilotprojekte in den breiten Produktivbetrieb übergehen, sollen die neuen Teams KI-Ergebnisse besser evaluieren.



Abonnieren Sie unsere CIO-Newsletter für mehr spannende Einblicke, Ausblicke und Hintergründe für die IT-Community.



Der rasante Aufstieg von KI-Agenten habe dazu geführt, dass in den vergangenen Monaten KI-Bewertungsteams allmählich Gestalt angenommen haben, berichtet Yasmeen Ahmad, Managing Director für Produktmanagement, Daten und KI-Cloud bei Google Cloud. Unternehmen, die nun das Verhalten der KI-Agenten in der Praxis beobachten, würde bewusst, dass die Bewertung kein einmaliger Schritt ist, sondern eine kontinuierliche Praxis sein muss.



KI-Evaluation – mehr als nice to have



Bei Google sind KI-Bewertungsteams in die Agenten-Entwicklungsgruppen eingebettet, wo beide Funktionen gleichzeitig ablaufen. „Während die Agenten-Entwickler arbeiten, findet die Bewertung direkt parallel dazu statt, wodurch ein kürzerer Iterationszyklus entsteht“, sagt Ahmad.



„Andere Unternehmen haben damit begonnen, innerhalb ihrer größeren KI- und IT-Abteilungen Arbeitsgruppen für die KI-Evaluation einzurichten”, ergänzt Maksim Hodar, CIO des Softwareunternehmens Innowise.



In einigen Fällen würden Unternehmen im Evaluations-Team Datenarchitekten, Sicherheitsbeauftragte und Compliance-Verantwortliche bündeln, anstatt neue Mitarbeiter von Grund auf einzustellen. Die Gruppen würden eine hybride Position zwischen der Programmierung und ethischen Geschäftspraktiken übernehmen. „Man kann mit Sicherheit sagen, dass sich Teams für die KI-Evaluation aktuell von einem ‚Nice-to-have‘ zu einer Notwendigkeit entwickeln.“



Verantwortung automatisieren?



Zudem hat Hodar beobachtet, dass sich immer mehr Unternehmen von einer isolierten KI-Einführung abwenden und einen stärkeren Fokus auf das „Sicherheitsnetz“ legen. Zwar konzentrieren sich eine Reihe neuer Tools etwa für Observability und Governance darauf, KI-Fehler zu verhindern, doch Technologie allein sei hierfür keine vollständige Lösung. Laut Hodar werde es Menschen brauchen, um zu entscheiden, ob das KI-Tool mit den Unternehmenswerten und Regularien wie der DSGVO im Einklang stehe. „Technologie liefert Informationen, aber das Evaluations-Team gibt letztendlich immer noch grünes Licht, denn Verantwortlichkeit lässt sich nicht automatisieren.“



Menschliche Bewertungsteams benötigten zwar Daten von Observability-Tools, aber die Technologie selbst könne nicht den nötigen Kontext für KI-Modelle und -Agenten bereitstellen, um fehlerhafte Ergebnisse zu korrigieren, meint auch Google-Expertin Ahmad. KI-Agenten seien mittlerweile sehr gut darin, Output-Prüfungen in Testumgebungen zu bestehen, aber es seien Bewertungsteams erforderlich, um ihre Ergebnisse in realen Situationen zu verfolgen. „Agentische Anwendungen bestehen vielleicht den anfänglichen Unit-Test für ein spezifisches Szenario, aber agentische Systeme sind nicht-deterministische Entscheider und verhalten sich daher nicht vorhersehbar“, so Ahmad. Man könne nicht alle potenziellen Verhaltensweisen testen, die sie in der realen Welt an den Tag legen können.



Den Kontext der KI-Fehler verstehen



Zwar liefert ein Observability-Tool Daten zur Token- und Tool-Nutzung sowie zu Tool-Ausfällen und Argumentationsfehlern, doch sind menschliche „Evaluatoren“ erforderlich. Sie könnten viele Probleme beheben und den Kontext für häufig auftretende Schlussfolgerungsfehler der Agenten liefern.



„Wenn unsere internen Bewertungsteams Zeit mit unseren KI-Agenten verbringen, gehen sie zum großen Teil der Frage nach, warum die Schlussfolgerungslogik an einigen Stellen fehlgeschlagen ist“, erklärt Ahmad. Die Lösung bestehe meist darin, den richtigen Kontext auf den richtigen Ebenen im Agenten bereitzustellen, damit er bessere Schlüsse ziehen kann.



Testen in einem komplexen Umfeld



„Ein gutes Evaluierungsteam befasst sich auch mit verschiedenen anderen Aspekten, darunter Governance, kulturelle Readiness, Abstimmung mit den Arbeitsabläufen im Unternehmen sowie messbare geschäftliche Auswirkungen von KI-Tools”, ergänzt Noe Ramos, Vizepräsidentin für KI-Operationen bei Agiloft, einem Anbieter für Contract-Lifecycle-Management. Technologie allein könne all diese Probleme nicht lösen.



„Die größte Hürde ist nicht technischer Natur – sie ist menschlicher Natur“, sagt Ramos. Man könne leistungsstarke Tools kaufen und trotzdem Probleme haben, wenn die Menschen ihnen nicht vertrauen, sie nicht verstehen oder nicht erkennen, wie sie in ihre Arbeit passen.



Wie Hodar und Ahmad sieht auch Ramos eine wachsende Nachfrage nach KI-Evaluierungs-Teams, auch wenn sich diese Rollen eher als Kompetenzbereich denn als formalisierte Stellenbezeichnungen herausbilden würden.



Weniger ist manchmal mehr



„Bei der KI-Evaluierung geht es letztendlich nicht nur um Sicherheit, sondern darum, sicherzustellen, dass KI für Klarheit und Handlungssicherheit sorgt statt für noch mehr Unruhe“, argumentiert Ramos. Ihr Unternehmen formuliert das intern so: „Wir nutzen KI, um Klarheit und Handeln zu fördern – und nicht, um Teams mit noch mehr Dashboards zu überfordern.“ Zu ihrem Team gehören ein Leiter für KI-Betrieb, ein KI-Agenten-Engineer sowie ein Leiter für GPT- und KI-Systeme. Ziel sei es, die Evaluation in das KI-Betriebsmodell von Agiloft zu integrieren.



Da der Reifegrad von Organisationen mit zunehmender KI-Nutzung steigt, verlangt der Sprung hin zu einem disziplinierten Umgang mut den Tools eine strukturierte Bewertungsfunktion. „Meiner Erfahrung nach besteht eines der größten Risiken darin, dass KI-Initiativen eher von den lautesten Stimmen als von echten operativen Prioritäten vorangetrieben werden“, sagt Ramos. Die KI-Entwicklung sollte sich vielmehr darauf konzentrieren, die fundiertesten Ideen zu verstärken, um die Wirkung der KI im Unternehmen zu maximieren.



Ramos zufolge muss die Evaluationsrolle oder -funktion in den meisten Unternehmen an der Schnittstelle zwischen IT, Sicherheit, Daten-Management und operativen Stakeholdern angesiedelt sein. Die Verantwortlichen für KI-Evaluation benötigten zudem ein tiefgreifendes Verständnis dafür, wie das Unternehmen funktioniert. „Einer der Gründe, warum die KI-Bewertung scheitert, ist, dass Unternehmen ihre eigenen Arbeitsabläufe nicht wirklich verstehen“, so Ramos. Man könne KI nur intelligent bewerten, wenn Workflows abgebildet, Engpässe identifiziert und Prioritäten abgestimmt seien. (ajf/jd)