Deutscher Mittelstand: KI forciert Investitionen in neue Server- und Edge-Hardware

Kleine und mittelständischen Unternehmen wollen ihre KI-Workloads nach Möglchkeit dort betreiben, wo ihre Daten liegen.dotshock/Shutterstock.com



Generative KI wurde bisher vor allem in Cloud-Umgebungen getestet. In dem Maße, in dem sich die Einsatzfelder der KI von isolierten Proof of Concepts hin zu produktiven Syste­men verlagern, rücken nun auch vermehrt Fragen nach effektiver Kosten­kontrolle (Preis pro Token), einheitlicher Governance sowie Aspekte wie Datenschutz und Datensicherheit immer mehr in den Vordergrund.



Im Zentrum dieses Wandels steht das Re­chenzentrum oder Server-Infrastrukturen, die die nötigen Daten für KI-basierte Workloads zur Verfügung stellen. Die Architekturen müssen in der Lage sein, klassische Unternehmensanwendungen und neue KI-Prozesse parallel zu betreiben, am besten in Echtzeit. Für große Unternehmen und Konzerne mag das bereits gesetzt sein, aber wie ist die Sicht des deutschen Mittelstands auf die Dinge?



Vor diesem Hintergrund haben CIO und COMPUTERWOCHE Anfang Juli 2026 in Kooperation mit dem Studienpartner Dell eine Befragung unter 106 obersten (IT-) Verantwortlichen in kleinen und mittelständischen Unternehmen der DACH-Region durchgeführt. Befragt wurden Beteiligte an strategischen (IT-) Entscheidungsprozessen im C-Level-Bereich und in den Fachbereichen, aber auch Entscheidungsbefugte sowie Experten und Expertinnen aus dem IT-Bereich.



Eine wichtige Erkenntnis der Studie ist, dass die kleinen und mittel­ständischen Unternehmen (KMU) ihre Sprachmodelle und Workloads nach Möglichkeit dort betreiben wollen, wo ihre Daten liegen. Das kann im eigenen Rechenzentrum geschehen, in einer Colocation-Umgebung oder innerhalb einer Edge-Infrastruktur.



Damit ist der Modernisierungsdruck auch bei den KMUs angekommen. Auch wenn die Notwendigkeit, in die eigene IT-Infrastruktur zu investieren, tatsächlich kaum bestritten wird, agieren sie trotzdem noch zu zurückhaltend. Das mag an den großen Herausforderungen im Bereich IT-Infrastruktur liegen, zuvorderst den sehr hohen Kosten für Hardware-Investitionen, die auch den hohen Technologieschulden der vergangenen Jahre geschuldet sind. 41 Prozent der Befragten nennen aber auch Datenschutz und Sicherheit, gut jedem vierten Unternehmen fehlt es aber laut eigener Aussage auch an interner IT-Expertise.






Knapp die Hälfte der Befragten gibt als größte Herausforderung im Bereich IT-Infrastruktur zu hohe Kosten für Hardware-Investitionen an.Research Services: Daniela Petrini



Um den Status Quo und damit das Maß der Herausforderungen zu beschreiben, mag der Hinweis genügen, dass in knapp 44 Prozent der KMUs Desktop- und Client-Geräte im Einsatz sind, die auch Server-Funktionen übernehmen und damit im Wesentlichen das Rückgrat der betreffenden IT-Infrastruktur bilden.  Nur jedes vierte befragte Unternehmen setzt dedizierte On-Premises-Server ein, deren Alter zudem in einem Drittel aller Fälle auf mehr als fünf Jahre taxiert wurde.



Gerade bei der Nutzung der KI dürfte es für die KMUs darum zu gehen, zunächst im kleineren Umfang neue lokale Systeme zu installieren und zu nutzen – diese neue Infrastruktur aber so zu konfigurieren, dass nach ersten validen Use Cases auch eine Skalierung möglich ist. Immerhin haben inzwischen 20 Prozent der befragten Unternehmen mit dem Aus­bau einer lokalen Server-Infrastruktur für KI-Anwendungen bzw. KI-gestützte Services begonnen. Gut 40 Prozent planen dies innerhalb der nächsten zwölf Monate, und weitere 16 Prozent ziehen dies in den kommenden zwei bis drei Jahren in Betracht.



Und noch ein Einzelergebnis sticht ins Auge: Für fast 60 Prozent der befragten IT- und Business-Verantwortlichen spielen On-Premises-Server zukünftig eine große bis sehr große Rolle in der IT-Infrastruktur ihrer Unternehmen.