Ratgeber: Lokale KI im Unternehmen betreiben
Lokale KI im Unternehmen: drei Wege.
Cloud oder eigener Server? Es gibt einen dritten Weg — und für jeden eine ehrliche Antwort, wann er passt.
Wer Firmenwissen mit KI nutzen will, steht schnell vor der Frage, wo die Antworten gerechnet werden. Diese Seite stellt die drei Betriebswege nebeneinander: wer betreibt, wo die Daten liegen, was die eigene IT trägt.
Lokale KI heißt, dass Sprachmodell und Suche im eigenen Netz laufen statt im Rechenzentrum eines Anbieters. Für KI mit Firmendaten gibt es drei Betriebswege: die EU-Cloud eines Anbieters, einen selbst betriebenen Stack aus offenen Modellen auf eigener Hardware — dann trägt die eigene IT Updates, Sicherheit und Modellwahl — oder ein Gerät im eigenen Netz, das der Anbieter betreibt. Explicio bietet den ersten und den dritten Weg.
- DREI WEGE NEBENEINANDER
- WER BETREIBT WAS
- WANN WELCHER PASST
Lokale KI: das Wichtigste vorab.
- Lokale KI heißt: Sprachmodell und Suche rechnen im eigenen Netz statt im Rechenzentrum eines Anbieters.
- Es gibt drei Betriebswege: die EU-Cloud eines Anbieters, einen selbst betriebenen Stack aus offenen Modellen oder ein Gerät im eigenen Netz, das der Anbieter betreibt.
- Das Modell ist nur ein Teil. Suche, Anbindung der Quellen, Rechte, Updates, Sicherung und ein Plan für den Ausfall gehören dazu.
- Lokal heißt nicht automatisch datenschutzkonform: Zweck, Rechte, Löschung und Mitbestimmung bleiben Aufgabe des Unternehmens.
- Die größten Kosten eines eigenen Stacks stehen selten auf der Hardware-Rechnung, sondern im Betrieb.
Kann ich als Firma Cloud einsetzen — oder muss ich selbst einen offenen KI-Stack betreiben?
Die Frage wird oft als Entweder-oder gestellt: Entweder die Daten gehen in eine Cloud, oder die eigene IT baut einen KI-Stack aus offenen Modellen und betreibt ihn selbst. Beides funktioniert — und beides hat einen Preis: Bei der Cloud verlassen die Daten das Haus, beim eigenen Stack bleibt alles an der eigenen IT hängen, von der Hardware über die Modellwahl bis zur Sicherheitslücke am Wochenende.
Dazwischen liegt ein dritter Weg: ein Gerät im eigenen Netz, auf dem Sprachmodell, Suche und Wissen lokal laufen, das aber der Anbieter betreibt — mit Updates, Wartung und Austausch. Die Daten bleiben im Haus, die Arbeit bleibt beim Anbieter.
Welcher Weg passt, hängt weniger an der Technik als an drei Fragen: Dürfen die Daten das Haus verlassen? Gibt es im Haus jemanden, der KI betreiben will und kann? Und wer steht gerade, wenn etwas ausfällt?
Was ist lokale KI — und was heißt On-Premise?
Lokale KI ist KI, die im eigenen Netz rechnet: auf einem Server oder Gerät im Haus statt im Rechenzentrum eines Anbieters. Im Gespräch tauchen dafür mehrere Begriffe auf, die nicht ganz dasselbe meinen.
Wer betreibt, wo die Daten liegen, was Ihre IT trägt.
Dieselben vier Fragen für jeden Weg.
- ✓Betrieb: der Anbieter
- ✓Daten: im Rechenzentrum des Anbieters in der EU
- ✓Ihre IT: Konten, Rechte, Anbindung
- ✓Passt, wenn: Cloud-Dienste erlaubt sind und schnell begonnen werden soll
- ✓Betrieb: Ihre IT
- ✓Daten: im eigenen Netz
- ✓Ihre IT: Hardware, Modellwahl, Updates, Sicherheit, Ausfallplan
- ✓Passt, wenn: eine eigene KI-Mannschaft da ist und jede Komponente in eigener Hand sein soll
- ✓Betrieb: der Anbieter — Updates, Wartung, Austausch
- ✓Daten: im eigenen Netz, Sicherung auf Ihren Speicher
- ✓Ihre IT: Netzplatz, Strom, eine ausgehende Verbindung
- ✓Passt, wenn: die Daten im Haus bleiben sollen, ohne eigene KI-Mannschaft
Explicio bietet Weg 1 — die EU-Cloud auf von Explicio betriebener Hardware in Deutschland — und Weg 3, die Explicio Box.
Ein Sprachmodell allein ist noch keine KI für das Unternehmen.
Was zusätzlich laufen muss, damit ein Team mit Firmenwissen arbeiten kann — gleich, wer es betreibt.
Welche Hardware braucht lokale KI?
Für den Versuch am Einzelplatz reicht ein aktueller Rechner mit viel Arbeitsspeicher: Kleine offene Modelle laufen dort, langsam, aber zum Ausprobieren brauchbar. Für ein Team ist das zu wenig. Mehrere Fragen gleichzeitig, lange Dokumente und Bilder brauchen einen Rechner mit Grafikprozessor und großem, schnellem Speicher.
Die Modellgröße bestimmt den Bedarf: Je größer das Modell, desto mehr Speicher braucht es — und desto besser sind meist die Antworten in deutscher Fachsprache. Dazu kommen Strom, Kühlung, ein Platz im Netz und Ersatz, wenn ein Teil ausfällt.
Lokale KI-Modelle: was offene Modelle für Firmen bedeuten.
Offene Modelle stellen ihre Gewichte zum Herunterladen bereit; man kann sie auf eigener Hardware betreiben. Das macht lokale KI erst möglich — und holt Entscheidungen ins Haus: welches Modell, in welcher Größe, unter welcher Lizenz.
Drei Dinge lohnen den Blick, bevor ein Modell eingesetzt wird: die Lizenzbedingungen für die gewerbliche Nutzung, die Qualität in der eigenen Sprache und Fachsprache, und wer das Modell pflegt, wenn eine bessere Fassung erscheint. Wer ein Modell selbst nachtrainiert, sollte außerdem prüfen, ob er damit Pflichten eines Modellanbieters nach der KI-Verordnung übernimmt.
Lokal heißt nicht automatisch datenschutzkonform.
Lokale KI löst eine Frage — wo die Daten liegen. Andere bleiben, gleich wo gerechnet wird.
- Gerechnet wird im eigenen Netz, nicht bei einem Anbieter
- Kein Rechenzentrum eines Dritten, wenn die eigene IT betreibt
- Netzgrenzen und Zugriffe bleiben in eigener Hand
- Zweck und Rechtsgrundlage der Verarbeitung
- Wer welche Antworten sehen darf
- Auskunft und Löschung für personenbezogene Daten
- Die Mitbestimmung des Betriebsrats
- Ein Vertrag zur Auftragsverarbeitung, wenn ein Anbieter das Gerät betreibt
Was eine Betriebsvereinbarung zu KI regeln sollte, steht auf unserer Seite für Betriebsrat und Datenschutz.
Was kostet lokale KI?
Bei einem eigenen Stack steht nur ein Teil der Kosten auf der Hardware-Rechnung.
- Server oder Gerät mit Grafikprozessor
- Speicher für die Sicherung
- Strom und Kühlung
- Lizenzen für die Software rundherum
- Arbeitszeit für Aufbau, Updates und Sicherheit
- Tests, wenn ein neues Modell erscheint
- Bereitschaft, wenn es am Wochenende ausfällt
- Ersatz und Wiederherstellung nach einem Defekt
Bei der Explicio Box sind Betrieb, Updates, der Tausch bei Defekt und die Nutzung im Box-Service enthalten — keine Grundgebühr, kein Verbrauch; die Preise stehen nachrechenbar auf der Preise-Seite.
Drei Fragen, die jeden Weg entscheiden.
Stellen Sie sie jedem Anbieter — und Ihrer eigenen IT, wenn Sie Weg 2 erwägen.
- FRAGE 101Wer spielt Updates ein?Beim eigenen Stack Ihre IT, sonst der Anbieter. Bei der Explicio Box sind Updates signiert und lassen sich zurücknehmen, wenn etwas nicht passt.
- FRAGE 202Wer wählt das Modell?Beim eigenen Stack Sie selbst, mit allen Folgen für Pflege und Prüfung. Bei Explicio wählen wir es und nennen es im Transparenzblatt für Kunden.
- FRAGE 303Was passiert bei einem Ausfall?Beim eigenen Stack greift Ihr eigener Plan. Bei der Explicio Box tauschen wir bei Defekt, im Box-Service inklusive; das Austauschgerät holt Ihren Wissensbestand aus Ihrer eigenen Sicherung zurück.
Was die Explicio Box ist — und was nicht.
Ein Gerät von Explicio im Netz des Kunden, betrieben im Rahmen des Box-Service.
- ein Gerät von Explicio in Ihrem Netz, das wir betreiben
- lokal: Sprachmodell, Bildverständnis, Suche und Wissensgraph laufen auf der Box, ohne Ausweichen in eine Cloud
- gesichert: verschlüsselt auf Ihren eigenen Netzwerkspeicher, mit Ihrem Schlüssel
- erreichbar für uns nur zur Fernwartung, die Sie freigeben
- ein Server, den Ihre IT selbst pflegen muss
- ein Messwert- oder Sensorgerät an der Anlage
- ein Aktor — sie steuert keine Maschine
- ein Gerät, das Sie kaufen und allein betreiben
Konten, Verträge und Rechnungen bleiben in der Cloud; Wissen einbringen, suchen und antworten läuft auf der Box.
Wann Weg 1 oder Weg 2 der richtige ist.
Der dritte Weg ist nicht für jeden der beste. Diese Fälle sprechen für einen der anderen.
- Cloud-Dienste in Ihrem Haus erlaubt sind
- Sie ohne Gerät und Einrichtung sofort beginnen wollen
- mehrere Standorte ohne eigenes Netz zusammenarbeiten
- eine eigene KI-Mannschaft da ist und bleiben soll
- jede Komponente, auch das Modell, in eigener Hand sein muss
- Sie Updates, Sicherheit und Ausfälle selbst tragen wollen
Weg 3 passt, wenn die Daten das Haus nicht verlassen dürfen und trotzdem niemand im Haus KI betreiben soll.
Was oft gefragt wird.
Was ist lokale KI?
KI, bei der Sprachmodell und Suche im eigenen Netz laufen — auf einem Server oder Gerät im Haus statt im Rechenzentrum eines Anbieters. Die Daten verlassen dafür das Haus nicht.
Brauche ich für lokale KI eine eigene KI-Abteilung?
Beim selbst betriebenen Stack ja: Hardware, Modellwahl, Updates und Sicherheit liegen dann bei Ihrer IT. Bei einem Gerät, das der Anbieter betreibt, nicht — bei der Explicio Box stellt Ihre IT Netzplatz, Strom und eine ausgehende Verbindung.
Läuft die Explicio Box ohne Internet?
Wissen einbringen, suchen und antworten läuft vollständig lokal. Eine ausgehende Verbindung braucht die Box für signierte Updates, Betriebsdaten, Freigaben und den Nachrichtenkanal der Messenger; ohne sie ist keine Fernwartung möglich.
Welches Modell läuft auf der Box?
Alles, was Explicio für Antworten, Bildverständnis und Suche braucht, läuft auf der Box. Welches Sprachmodell eingesetzt ist, nennen wir im Transparenzblatt für Kunden.
Kann ich von der Cloud auf die Box wechseln?
Ja, aus der EU-Cloud auf die Box und zurück. Die Pauschalen für Einrichtung und Umzug stehen auf der Preise-Seite.
Was passiert, wenn die Box defekt ist?
Wir tauschen das Gerät, im Box-Service inklusive. Ein vorab konfiguriertes Austauschgerät übernimmt Ihre Einstellungen, Ihr Wissensbestand kommt aus Ihrer eigenen Sicherung auf Ihrem Netzwerkspeicher zurück.
Zu Datenschutz, Hardware und Private Cloud.
Ist lokale KI DSGVO-konform?
Lokal betrieben wird im eigenen Netz gerechnet, nicht bei einem Anbieter — das erleichtert vieles. Zweck, Rechtsgrundlage, Rechte, Löschung und die Mitbestimmung des Betriebsrats bleiben trotzdem zu regeln, auch bei einem Gerät im eigenen Netz.
Welche Hardware brauche ich für lokale KI?
Zum Ausprobieren einen Rechner mit viel Arbeitsspeicher und ein kleines Modell. Für ein Team einen Server mit Grafikprozessor und großem Speicher, dazu Sicherung und Überwachung — oder ein Gerät, das der Anbieter betreibt, wie die Explicio Box.
Was ist der Unterschied zwischen lokaler KI und einer Private Cloud?
Bei lokaler KI steht die Hardware im eigenen Netz. Eine Private Cloud ist ein abgegrenzter Bereich im Rechenzentrum eines Anbieters, nur für ein Unternehmen — die Daten liegen dann dort, nicht im Haus.
Was passiert nach den 48 Monaten?
Rechtzeitig vor dem Ende der Laufzeit kommen wir mit einem Angebot für eine neue Box auf Sie zu. Der Wechsel ist Plug & Play: Die neue Box kommt vorkonfiguriert, übernimmt Ihre Einstellungen und holt Ihren Wissensbestand aus Ihrer eigenen Sicherung. Möchten Sie keine neue Box, ziehen Sie in die EU-Cloud um oder lassen die Daten löschen.
Den passenden Weg in einem Gespräch klären.
Erst 30 Tage in der EU-Cloud testen — oder direkt ein Angebot für die Box anfragen. Wir sagen Ihnen auch, wenn Weg 2 für Sie besser passt.
- Prüfliste
- acht Fragen an jede Plattform
- Preise
- nachrechenbar