# Lokale KI im Unternehmen: Wege, Hardware, Datenschutz https://www.explicio.com/de/lokale-ki/ Stand: 2026-11-02 > Lokale KI heißt, dass Sprachmodell und Suche im eigenen Netz laufen statt im Rechenzentrum eines Anbieters. Für KI mit Firmendaten gibt es drei Betriebswege: die EU-Cloud eines Anbieters, einen selbst betriebenen Stack aus offenen Modellen auf eigener Hardware — dann trägt die eigene IT Updates, Sicherheit und Modellwahl — oder ein Gerät im eigenen Netz, das der Anbieter betreibt. Explicio bietet den ersten und den dritten Weg. # Ratgeber: Lokale KI im Unternehmen betreiben ## Lokale KI im Unternehmen: drei Wege. Cloud oder eigener Server? Es gibt einen dritten Weg — und für jeden eine ehrliche Antwort, wann er passt. Wer Firmenwissen mit KI nutzen will, steht schnell vor der Frage, wo die Antworten gerechnet werden. Diese Seite stellt die drei Betriebswege nebeneinander: wer betreibt, wo die Daten liegen, was die eigene IT trägt. Lokale KI heißt, dass Sprachmodell und Suche im eigenen Netz laufen statt im Rechenzentrum eines Anbieters. Für KI mit Firmendaten gibt es drei Betriebswege: die EU-Cloud eines Anbieters, einen selbst betriebenen Stack aus offenen Modellen auf eigener Hardware — dann trägt die eigene IT Updates, Sicherheit und Modellwahl — oder ein Gerät im eigenen Netz, das der Anbieter betreibt. Explicio bietet den ersten und den dritten Weg. - DREI WEGE NEBENEINANDER - WER BETREIBT WAS - WANN WELCHER PASST AUF EINEN BLICK ## Lokale KI: das Wichtigste vorab. DAS WICHTIGSTE IN KÜRZE - Lokale KI heißt: Sprachmodell und Suche rechnen im eigenen Netz statt im Rechenzentrum eines Anbieters. - Es gibt drei Betriebswege: die EU-Cloud eines Anbieters, einen selbst betriebenen Stack aus offenen Modellen oder ein Gerät im eigenen Netz, das der Anbieter betreibt. - Das Modell ist nur ein Teil. Suche, Anbindung der Quellen, Rechte, Updates, Sicherung und ein Plan für den Ausfall gehören dazu. - Lokal heißt nicht automatisch datenschutzkonform: Zweck, Rechte, Löschung und Mitbestimmung bleiben Aufgabe des Unternehmens. - Die größten Kosten eines eigenen Stacks stehen selten auf der Hardware-Rechnung, sondern im Betrieb. DIE FRAGE ## Kann ich als Firma Cloud einsetzen — oder muss ich selbst einen offenen KI-Stack betreiben? Die Frage wird oft als Entweder-oder gestellt: Entweder die Daten gehen in eine Cloud, oder die eigene IT baut einen KI-Stack aus offenen Modellen und betreibt ihn selbst. Beides funktioniert — und beides hat einen Preis: Bei der Cloud verlassen die Daten das Haus, beim eigenen Stack bleibt alles an der eigenen IT hängen, von der Hardware über die Modellwahl bis zur Sicherheitslücke am Wochenende. Dazwischen liegt ein dritter Weg: ein Gerät im eigenen Netz, auf dem Sprachmodell, Suche und Wissen lokal laufen, das aber der Anbieter betreibt — mit Updates, Wartung und Austausch. Die Daten bleiben im Haus, die Arbeit bleibt beim Anbieter. Welcher Weg passt, hängt weniger an der Technik als an drei Fragen: Dürfen die Daten das Haus verlassen? Gibt es im Haus jemanden, der KI betreiben will und kann? Und wer steht gerade, wenn etwas ausfällt? BEGRIFFE ## Was ist lokale KI — und was heißt On-Premise? Lokale KI ist KI, die im eigenen Netz rechnet: auf einem Server oder Gerät im Haus statt im Rechenzentrum eines Anbieters. Im Gespräch tauchen dafür mehrere Begriffe auf, die nicht ganz dasselbe meinen. LOKALE KI Im eigenen Netz Sprachmodell und Suche laufen auf Hardware im Haus. Wer sie betreibt, sagt der Begriff nicht. ON-PREMISE In den eigenen Räumen Der klassische IT-Begriff: Die Software steht beim Kunden. Meist ist mitgemeint, dass die eigene IT sie betreibt. LOKALES LLM Ein Sprachmodell auf eigener Hardware Nur das Modell, ohne Suche im Firmenwissen, ohne Rechte und Pflege. Gut zum Ausprobieren, noch keine Lösung fürs Team. SOUVERÄNE KI Unter eigener Kontrolle Zielt auf Abhängigkeit: Wer kontrolliert Daten, Modell und Betrieb, und kann man wechseln? Lokal ist ein Weg dorthin, nicht der einzige. DIE DREI WEGE ## Wer betreibt, wo die Daten liegen, was Ihre IT trägt. Dieselben vier Fragen für jeden Weg. WEG 1 EU-Cloud eines Anbieters Der Anbieter betreibt Sprachmodell und Suche in seinem Rechenzentrum in der EU. - ✓ Betrieb: der Anbieter - ✓ Daten: im Rechenzentrum des Anbieters in der EU - ✓ Ihre IT: Konten, Rechte, Anbindung - ✓ Passt, wenn: Cloud-Dienste erlaubt sind und schnell begonnen werden soll WEG 2 Selbst betrieben mit offenen Modellen Ihre IT baut einen Stack aus offenen Modellen auf eigener Hardware und betreibt ihn. - ✓ Betrieb: Ihre IT - ✓ Daten: im eigenen Netz - ✓ Ihre IT: Hardware, Modellwahl, Updates, Sicherheit, Ausfallplan - ✓ Passt, wenn: eine eigene KI-Mannschaft da ist und jede Komponente in eigener Hand sein soll WEG 3 Gerät im eigenen Netz, vom Anbieter betrieben Sprachmodell, Suche und Wissen laufen lokal auf einem Gerät, das der Anbieter betreibt. - ✓ Betrieb: der Anbieter — Updates, Wartung, Austausch - ✓ Daten: im eigenen Netz, Sicherung auf Ihren Speicher - ✓ Ihre IT: Netzplatz, Strom, eine ausgehende Verbindung - ✓ Passt, wenn: die Daten im Haus bleiben sollen, ohne eigene KI-Mannschaft Explicio bietet Weg 1 — die EU-Cloud auf von Explicio betriebener Hardware in Deutschland — und Weg 3, die Explicio Box. WAS DAZUGEHÖRT ## Ein Sprachmodell allein ist noch keine KI für das Unternehmen. Was zusätzlich laufen muss, damit ein Team mit Firmenwissen arbeiten kann — gleich, wer es betreibt. SPRACHMODELL Antworten formulieren Das Modell schreibt die Antwort. Welches es ist, entscheidet über Sprache, Qualität und Hardwarebedarf. SUCHE Das richtige Wissen finden Bevor das Modell antwortet, muss das passende Dokument gefunden sein. Ohne gute Suche erfindet ein Modell eher, als dass es zitiert. QUELLEN Ablagen anbinden Handbücher, Laufwerke, Wikis, Postfächer: eingelesen und aktuell gehalten, ohne dass jemand alles neu ablegt. RECHTE Nur sehen, was man darf Eine Antwort darf nur aus Dokumenten kommen, die die fragende Person auch öffnen dürfte. BETRIEB Updates, Sicherheit, Überwachung Lücken schließen, Modelle wechseln, Speicher und Auslastung im Blick behalten — laufend, nicht einmal. SICHERUNG Ein Plan für den Ausfall Fällt das Gerät aus, braucht es eine Sicherung und einen Ersatzweg. Sonst ist das Wissen weg oder das Team steht. HARDWARE ## Welche Hardware braucht lokale KI? Für den Versuch am Einzelplatz reicht ein aktueller Rechner mit viel Arbeitsspeicher: Kleine offene Modelle laufen dort, langsam, aber zum Ausprobieren brauchbar. Für ein Team ist das zu wenig. Mehrere Fragen gleichzeitig, lange Dokumente und Bilder brauchen einen Rechner mit Grafikprozessor und großem, schnellem Speicher. Die Modellgröße bestimmt den Bedarf: Je größer das Modell, desto mehr Speicher braucht es — und desto besser sind meist die Antworten in deutscher Fachsprache. Dazu kommen Strom, Kühlung, ein Platz im Netz und Ersatz, wenn ein Teil ausfällt. ZUM AUSPROBIEREN Ein Arbeitsplatzrechner Ein kleines Modell, eine Person, ohne Anbindung an Firmendaten. Zeigt, wie sich lokale KI anfühlt — nicht, wie sie im Betrieb läuft. FÜR DAS TEAM Ein KI-Server oder ein betriebenes Gerät Grafikprozessor, großer Speicher, Sicherung, Überwachung. Wer das nicht selbst aufbauen will, lässt es betreiben — das ist Weg 3. MODELLE ## Lokale KI-Modelle: was offene Modelle für Firmen bedeuten. Offene Modelle stellen ihre Gewichte zum Herunterladen bereit; man kann sie auf eigener Hardware betreiben. Das macht lokale KI erst möglich — und holt Entscheidungen ins Haus: welches Modell, in welcher Größe, unter welcher Lizenz. Drei Dinge lohnen den Blick, bevor ein Modell eingesetzt wird: die Lizenzbedingungen für die gewerbliche Nutzung, die Qualität in der eigenen Sprache und Fachsprache, und wer das Modell pflegt, wenn eine bessere Fassung erscheint. Wer ein Modell selbst nachtrainiert, sollte außerdem prüfen, ob er damit Pflichten eines Modellanbieters nach der KI-Verordnung übernimmt. LIZENZ Gewerbliche Nutzung prüfen Offen heißt nicht frei von Bedingungen. Manche Lizenzen schränken den Einsatz oder die Größe des Unternehmens ein. WECHSEL Modelle altern schnell Alle paar Monate erscheint ein besseres Modell. Wer selbst betreibt, testet und wechselt selbst; bei Explicio wählen wir und nennen das Modell im Transparenzblatt. DATENSCHUTZ UND MITBESTIMMUNG ## Lokal heißt nicht automatisch datenschutzkonform. Lokale KI löst eine Frage — wo die Daten liegen. Andere bleiben, gleich wo gerechnet wird. Lokal löst - ✓ Gerechnet wird im eigenen Netz, nicht bei einem Anbieter - ✓ Kein Rechenzentrum eines Dritten, wenn die eigene IT betreibt - ✓ Netzgrenzen und Zugriffe bleiben in eigener Hand Bleibt zu klären - • Zweck und Rechtsgrundlage der Verarbeitung - • Wer welche Antworten sehen darf - • Auskunft und Löschung für personenbezogene Daten - • Die Mitbestimmung des Betriebsrats - • Ein Vertrag zur Auftragsverarbeitung, wenn ein Anbieter das Gerät betreibt Was eine Betriebsvereinbarung zu KI regeln sollte, steht auf unserer Seite für Betriebsrat und Datenschutz. KOSTEN ## Was kostet lokale KI? Bei einem eigenen Stack steht nur ein Teil der Kosten auf der Hardware-Rechnung. Steht auf der Rechnung - • Server oder Gerät mit Grafikprozessor - • Speicher für die Sicherung - • Strom und Kühlung - • Lizenzen für die Software rundherum Steht auf keiner Rechnung - • Arbeitszeit für Aufbau, Updates und Sicherheit - • Tests, wenn ein neues Modell erscheint - • Bereitschaft, wenn es am Wochenende ausfällt - • Ersatz und Wiederherstellung nach einem Defekt Bei der Explicio Box sind Betrieb, Updates, der Tausch bei Defekt und die Nutzung im Box-Service enthalten — keine Grundgebühr, kein Verbrauch; die Preise stehen nachrechenbar auf der Preise-Seite. PRÜFEN ## Drei Fragen, die jeden Weg entscheiden. Stellen Sie sie jedem Anbieter — und Ihrer eigenen IT, wenn Sie Weg 2 erwägen. - FRAGE 1 01 Wer spielt Updates ein? Beim eigenen Stack Ihre IT, sonst der Anbieter. Bei der Explicio Box sind Updates signiert und lassen sich zurücknehmen, wenn etwas nicht passt. - FRAGE 2 02 Wer wählt das Modell? Beim eigenen Stack Sie selbst, mit allen Folgen für Pflege und Prüfung. Bei Explicio wählen wir es und nennen es im Transparenzblatt für Kunden. - FRAGE 3 03 Was passiert bei einem Ausfall? Beim eigenen Stack greift Ihr eigener Plan. Bei der Explicio Box tauschen wir bei Defekt, im Box-Service inklusive; das Austauschgerät holt Ihren Wissensbestand aus Ihrer eigenen Sicherung zurück. WEG 3 IM DETAIL ## Was die Explicio Box ist — und was nicht. Ein Gerät von Explicio im Netz des Kunden, betrieben im Rahmen des Box-Service. Die Box ist … - ✓ ein Gerät von Explicio in Ihrem Netz, das wir betreiben - ✓ lokal: Sprachmodell, Bildverständnis, Suche und Wissensgraph laufen auf der Box, ohne Ausweichen in eine Cloud - ✓ gesichert: verschlüsselt auf Ihren eigenen Netzwerkspeicher, mit Ihrem Schlüssel - ✓ erreichbar für uns nur zur Fernwartung, die Sie freigeben Die Box ist nicht … - – ein Server, den Ihre IT selbst pflegen muss - – ein Messwert- oder Sensorgerät an der Anlage - – ein Aktor — sie steuert keine Maschine - – ein Gerät, das Sie kaufen und allein betreiben Konten, Verträge und Rechnungen bleiben in der Cloud; Wissen einbringen, suchen und antworten läuft auf der Box. EHRLICH ## Wann Weg 1 oder Weg 2 der richtige ist. Der dritte Weg ist nicht für jeden der beste. Diese Fälle sprechen für einen der anderen. Weg 1 (EU-Cloud) passt, wenn … - ✓ Cloud-Dienste in Ihrem Haus erlaubt sind - ✓ Sie ohne Gerät und Einrichtung sofort beginnen wollen - ✓ mehrere Standorte ohne eigenes Netz zusammenarbeiten Weg 2 (selbst betrieben) passt, wenn … - ✓ eine eigene KI-Mannschaft da ist und bleiben soll - ✓ jede Komponente, auch das Modell, in eigener Hand sein muss - ✓ Sie Updates, Sicherheit und Ausfälle selbst tragen wollen Weg 3 passt, wenn die Daten das Haus nicht verlassen dürfen und trotzdem niemand im Haus KI betreiben soll. FRAGEN ## Was oft gefragt wird. Was ist lokale KI? + − KI, bei der Sprachmodell und Suche im eigenen Netz laufen — auf einem Server oder Gerät im Haus statt im Rechenzentrum eines Anbieters. Die Daten verlassen dafür das Haus nicht. Brauche ich für lokale KI eine eigene KI-Abteilung? + − Beim selbst betriebenen Stack ja: Hardware, Modellwahl, Updates und Sicherheit liegen dann bei Ihrer IT. Bei einem Gerät, das der Anbieter betreibt, nicht — bei der Explicio Box stellt Ihre IT Netzplatz, Strom und eine ausgehende Verbindung. Läuft die Explicio Box ohne Internet? + − Wissen einbringen, suchen und antworten läuft vollständig lokal. Eine ausgehende Verbindung braucht die Box für signierte Updates, Betriebsdaten, Freigaben und den Nachrichtenkanal der Messenger; ohne sie ist keine Fernwartung möglich. [Quelle: Box-Seite](https://www.explicio.com/de/explicio-box/) Welches Modell läuft auf der Box? + − Alles, was Explicio für Antworten, Bildverständnis und Suche braucht, läuft auf der Box. Welches Sprachmodell eingesetzt ist, nennen wir im Transparenzblatt für Kunden. Kann ich von der Cloud auf die Box wechseln? + − Ja, aus der EU-Cloud auf die Box und zurück. Die Pauschalen für Einrichtung und Umzug stehen auf der Preise-Seite. [Quelle: Preise-Seite](https://www.explicio.com/de/preise/) Was passiert, wenn die Box defekt ist? + − Wir tauschen das Gerät, im Box-Service inklusive. Ein vorab konfiguriertes Austauschgerät übernimmt Ihre Einstellungen, Ihr Wissensbestand kommt aus Ihrer eigenen Sicherung auf Ihrem Netzwerkspeicher zurück. [Quelle: Box-Seite](https://www.explicio.com/de/explicio-box/) WEITERE FRAGEN ## Zu Datenschutz, Hardware und Private Cloud. Ist lokale KI DSGVO-konform? + − Lokal betrieben wird im eigenen Netz gerechnet, nicht bei einem Anbieter — das erleichtert vieles. Zweck, Rechtsgrundlage, Rechte, Löschung und die Mitbestimmung des Betriebsrats bleiben trotzdem zu regeln, auch bei einem Gerät im eigenen Netz. [Mehr: Seite für Betriebsrat und Datenschutz](https://www.explicio.com/de/betriebsrat/) Welche Hardware brauche ich für lokale KI? + − Zum Ausprobieren einen Rechner mit viel Arbeitsspeicher und ein kleines Modell. Für ein Team einen Server mit Grafikprozessor und großem Speicher, dazu Sicherung und Überwachung — oder ein Gerät, das der Anbieter betreibt, wie die Explicio Box. Was ist der Unterschied zwischen lokaler KI und einer Private Cloud? + − Bei lokaler KI steht die Hardware im eigenen Netz. Eine Private Cloud ist ein abgegrenzter Bereich im Rechenzentrum eines Anbieters, nur für ein Unternehmen — die Daten liegen dann dort, nicht im Haus. Was passiert nach den 48 Monaten? + − Rechtzeitig vor dem Ende der Laufzeit kommen wir mit einem Angebot für eine neue Box auf Sie zu. Der Wechsel ist Plug & Play: Die neue Box kommt vorkonfiguriert, übernimmt Ihre Einstellungen und holt Ihren Wissensbestand aus Ihrer eigenen Sicherung. Möchten Sie keine neue Box, ziehen Sie in die EU-Cloud um oder lassen die Daten löschen. [Box-Seite](https://www.explicio.com/de/explicio-box/) NÄCHSTER SCHRITT ## Den passenden Weg in einem Gespräch klären. Erst 30 Tage in der EU-Cloud testen — oder direkt ein Angebot für die Box anfragen. Wir sagen Ihnen auch, wenn Weg 2 für Sie besser passt. [Box-Angebot anfragen](https://explicio.cloud/registrieren?weg=angebot&interesse=box&nachricht=Wir%20m%C3%B6chten%20KI%20lokal%20im%20eigenen%20Netz%20betreiben.) [Testzugang anfragen](https://explicio.cloud/registrieren?weg=test) - **Box**: [Gerät, Betrieb, Sicherung](https://www.explicio.com/de/explicio-box/) - **Prüfliste**: [acht Fragen an jede Plattform](https://www.explicio.com/de/pruefliste/) - **Preise**: [nachrechenbar](https://www.explicio.com/de/preise/)