Lokale KI ist für Unternehmen machbar – wir haben es gemessen
Viele Unternehmen würden KI gern nutzen, ohne ihre Daten in eine amerikanische Cloud zu geben. Kalkulationen, Verträge, Personalakten – Dinge, die das Haus nicht verlassen sollen. Die verbreitete Annahme lautet: Dann bleibt eben nur die Cloud, denn ein eigenes KI-System ist zu teuer, zu langsam, zu kompliziert.
Diese Annahme stimmt nicht mehr. Um das nicht zu behaupten, sondern zu belegen, habe ich es gemessen – auf einem Gerät, das auf den Schreibtisch passt.
Das Gerät ist ein ASUS Ascent GX10 auf Basis der NVIDIA-DGX-Spark-Plattform: kaum größer als ein dickes Hardcover, 128 GB Speicher, rund 4.000 Euro. Es führt dieselbe Art von KI-Modellen aus, für die man sonst eine Cloud mietet – nur dass hier kein einziges Byte das Gerät verlässt. Ich habe neun aktuelle KI-Modelle darauf laufen lassen und jeden Wert dreimal gemessen.
Was so ein Gerät im Alltag leistet
Die entscheidende Frage für ein Unternehmen ist nicht, ob ein einzelner Chat funktioniert, sondern ob das Gerät einen echten Arbeitstag trägt. Vier Ergebnisse aus dem Test:
Es bedient ein ganzes Team gleichzeitig. Auch als acht Personen zeitgleich Anfragen stellten, antwortete das Gerät schneller, als ein Mensch mitlesen kann. Für ein Team von fünf bis fünfzehn Leuten reicht das mit Reserve – ein einziges Gerät, kein Nutzerlimit, keine laufende Lizenzgebühr pro Kopf.
Es liest lange Dokumente in Sekunden. Ein mehrseitiges Angebot oder einen Vertrag hat die KI in wenigen Augenblicken erfasst und beantwortet Fragen dazu. Genau die Fleißarbeit, die im Büro täglich Zeit frisst.
Der Betrieb kostet fast nichts. Selbst wenn man mit der maximalen Leistungsaufnahme des Netzteils rechnet und zehn Stunden an zwanzig Arbeitstagen ansetzt, bleiben die Stromkosten unter zwölf Euro im Monat. Keine Cloud-Lizenz, keine nutzungsabhängige Rechnung.
Und das Wichtigste: Kein Byte verlässt das Haus. Das ist der eigentliche Grund für ein eigenes Gerät. Liefe alles in einer Cloud schneller und billiger, gäbe es kaum ein Argument dafür. Das Argument ist die Datenhoheit – dass sensible Unterlagen im eigenen Netz bleiben. Warum das für den Mittelstand mehr ist als eine Formalie, haben wir ausführlich beschrieben in On-Premise-KI: volle Kontrolle über die eigenen Daten.
Zusammengenommen heißt das: Lokale KI ist keine Zukunftsvision und kein Bastelprojekt mehr. Ein Gerät zum Preis eines guten Notebooks bringt einem ganzen Team einen KI-Assistenten ins Haus, DSGVO-konform und ohne laufende Cloud-Kosten.
Wofür man so ein Gerät im Alltag nutzt
Die Zahlen sind das eine, der konkrete Nutzen das andere. In der Praxis übernimmt ein lokales KI-System genau die Aufgaben, bei denen heute viel Zeit in Routinearbeit fließt – und bei denen zugleich vertrauliche Inhalte im Spiel sind, die man ungern nach außen gibt:
- Fragen an die eigenen Dokumente. Angebote, Verträge, Handbücher, Protokolle: Die KI liest den Bestand und beantwortet Fragen dazu in Sekunden, statt dass jemand minutenlang sucht.
- Entwürfe und Zusammenfassungen. E-Mails, Aktennotizen, Berichte, Protokolle aus Besprechungen – die erste Fassung liefert die KI, der Mensch prüft und gibt frei.
- Wiederkehrende Textarbeit. Standardantworten, Ausschreibungstexte, Stellenanzeigen: einmal strukturiert, danach auf Zuruf.
- Recherche im eigenen Wissen. Statt Wissen in Köpfen und verstreuten Ordnern liegt es abrufbar vor – ohne dass ein einziges Dokument das Haus verlässt.
Der gemeinsame Nenner: Es sind Aufgaben mit hohem Volumen und hoher Vertraulichkeit. Genau dort, wo eine öffentliche Cloud aus Datenschutzgründen ausscheidet, spielt ein lokales Gerät seine Stärke aus.
Aber: Es ist kein Gerät, das man nur einschaltet
So weit die gute Nachricht. Die ehrliche Ergänzung: Ein solches System liefert nicht von allein gute Ergebnisse. Zwei Dinge aus dem Test zeigen, wo Erfahrung den Unterschied macht.
Die Wahl des Modells entscheidet über Sinn oder Frust. Zwischen dem schnellsten und dem langsamsten Modell auf ein und demselben Gerät lag Faktor 13 – das eine antwortete flüssig, das andere quälend langsam. Überraschend dabei: Es war nicht das kleinere Modell, das schneller lief. Die Größe, mit der Anbieter werben, sagt fast nichts darüber aus, wie schnell ein Modell im Alltag ist. Welches Modell zu welcher Aufgabe und welcher Hardware passt, ist die Frage, die über ein gutes und ein enttäuschendes System entscheidet – und sie lässt sich nicht am Datenblatt ablesen, sondern nur durch Messen und Erfahrung beantworten.
Die neun getesteten Modelle im direkten Vergleich: Alle liefen auf demselben Gerät, das Antwort-Tempo reicht von 80 bis 5 Wörtern pro Sekunde. Für den Alltag heißt das nur eines – die Auswahl will gemessen sein, nicht geraten.
Und: Rechnen darf man der KI nicht überlassen. Ich habe das System an einer echten Büroaufgabe geprüft – aus einer langen Liste mit Mengen und Preisen die teuerste Position zu finden. Das Modell hat es nicht zuverlässig geschafft: mal nannte es die zweitteuerste, mal die drittteuerste, bei sehr langen Listen antwortete es gar nicht mehr. Das ist keine Schwäche dieses einen Modells, sondern eine grundsätzliche Eigenschaft von Sprachmodellen.
Ein Sprachmodell liest, versteht und formuliert hervorragend. Gerechnet werden muss daneben – mit verlässlicher Software, nicht im Kopf des Modells.
Wer eine lokale KI so einrichtet, dass sie Summen bildet oder Angebote kalkuliert, indem das Sprachmodell „nachdenkt", bekommt plausibel aussehende, aber falsche Zahlen. Richtig gebaut, übernimmt das Modell das Verstehen und Formulieren, während ein Rechenbaustein die Zahlen liefert. Das Ergebnis ist verlässlich – aber es ist eben eine Frage der richtigen Einrichtung, nicht des Geräts.
Wo der Test aufhört – und die Umsetzung anfängt
Ein Test auf einem Gerät an einem Tag ist eine Momentaufnahme, kein Versprechen für die Ewigkeit. Das geprüfte Dokument war nachgebaut, nicht aus einem echten Projekt, und der Stromverbrauch an der Steckdose ist noch mit einem Messgerät zu bestätigen. Ich schreibe das dazu, weil eine Zahl ohne ihre Grenzen keine Zahl ist, sondern Werbung.
Die Kernbotschaft trägt trotzdem: Lokale KI ist für Unternehmen heute möglich – technisch reif, bezahlbar im Betrieb und ohne dass Daten das Haus verlassen. Aus einem Gerät wird ein nützlicher KI-Kollege aber erst durch die richtigen Entscheidungen: welches Modell, für welche Aufgaben, mit welcher Absicherung beim Rechnen und bei den Daten.
Genau hier setzen wir an. Und wenn Sie vor der grundsätzlichen Frage stehen, wo KI in Ihrem Unternehmen überhaupt den größten Nutzen bringt, ist das der Ausgangspunkt unserer AI-Impact-Methode – erst der Nutzen, dann die Technik.
Wer über lokale KI im eigenen Unternehmen nachdenkt: Melden Sie sich. Das vollständige Messprotokoll – mit allen Zahlen und allen Vorbehalten – teile ich gern.