Kick-Off Digitaler Aktenschrank
Katharina Kloiber | 12.06.2025
Gemeinsam mit Christoph Döberl (zynd GmbH) evaluieren wir, wie KI-Systeme und -Modelle performant, zuverlässig und kosteneffizient auf eigener Hardware betrieben werden können.
KI Systeme sind in aller Munde, der Einsatz in Unternehmen ist aber immer mit Bedacht handzuhaben, vor allem, wenn interne Firmeninformationen involviert sind. Einer der wichtigsten Faktoren bei der Einführung einer KI in Unternehmen liegt in der Sicherheit der Daten. Viele gut funktionierende KI-Systeme basieren darauf, dass entweder die Daten in zentrale Systeme übergeben werden oder aber lokal installierte Modelle permanent in Austausch mit zentralen Systemen stehen. Dies ist eine Sicherheitsrisiko, das von KEINEM Unternehmen eingegangen werden kann.
Auf der anderen Seite stehen die Firmen unter einem immer höheren Druck ihrer Arbeitnehmer*innen und des Marktes, bringt KI doch in vielen Fällen Effizientsteigerungen und Erleichterungen, z.B. beim Programmieren, beim Schreiben von Texten, Angebote oder bei Recherchearbeiten mit sich. Geschieht dies jedoch außerhalb der Unternehmensstrukturen und der gesicherten Infrastruktur, geht damit ein Informations- und Kontrollverlust der Unternehmen einher.
KI-Modelle auf lokaler Hardware selbst hosten
Wir beschäftigen uns damit, diesem Umstand entgegenzuwirken. Die Installation lokaler KI Systeme, die keinerlei Verbindung zu zentralen Systemen halten und die Daten und Modelle vollständig und ausschließlich lokal halten, ist mit geeigneter Hardware unproblematisch. Eine Umsetzung auf lokaler, selbstkontrollierter Hardware erhält die Datensouveränität der Unternehmen.
Um moderne Modelle und Agents nutzen zu können, bedarf es einer zielgerichteten Hardware. Wir evaluieren, inwieweit durch eine Kaskadierung von leistbaren Systemen eine performante und nachhaltige inhouse-Lösung etabliert werden kann. Sicherheit spielt dabei eine wichtige Rolle, weshalb das System rein auf Open-Source-Betriebssystemen und -Komponenten aufgebaut wird.
