Sprachmodelle versprechen enorme Produktivitätsgewinne – doch sobald personenbezogene oder vertrauliche Daten ins Spiel kommen, wird der Einsatz von Cloud-KI zur Datenschutzfrage. Ein lokal betriebenes LLM löst dieses Spannungsfeld auf: Die Daten verlassen das Unternehmen nicht. Das ist nicht nur sicherer, sondern oft die einzige rechtlich saubere Option.
Warum Cloud-KI ein Datenschutzproblem ist
Wenn Mitarbeitende Texte, Verträge oder Kundendaten in einen externen KI-Dienst eingeben, findet eine Datenübermittlung an einen Dritten statt – häufig in Länder außerhalb der EU. Daraus ergeben sich mehrere Fragen, die viele Unternehmen unterschätzen:
- Auf welcher Rechtsgrundlage werden die Daten verarbeitet?
- Wo werden sie gespeichert, und wer hat Zugriff?
- Werden Eingaben zum Training des Modells weiterverwendet?
- Existiert ein belastbarer Vertrag zur Auftragsverarbeitung?
Solange diese Punkte nicht zweifelsfrei geklärt sind, ist die Nutzung externer KI für personenbezogene Daten heikel.
On-Premise löst das Grundproblem
Ein lokal betriebenes Sprachmodell läuft auf eigener Hardware im Unternehmensnetz. Eingaben und Ausgaben bleiben damit vollständig im eigenen Verantwortungsbereich:
- Keine Übermittlung an Dritte, keine Drittlandproblematik.
- Keine Weiterverwendung der Eingaben zum Training fremder Modelle.
- Zugriff und Protokollierung liegen in eigener Hand.
Damit verschiebt sich die Datenschutzfrage von „Dürfen wir das überhaupt?" zu den gewohnten Pflichten beim Betrieb eigener Systeme – ein deutlich beherrschbareres Terrain.
Architektur in der Praxis
Technisch lässt sich ein lokales LLM gut in eine bestehende Open-Source-Infrastruktur einbetten:
- Eine Servergrundlage mit ausreichend Arbeitsspeicher und einer geeigneten Grafikkarte für die Modellausführung.
- Eine Laufzeitumgebung, die offene Modelle bereitstellt und über eine Schnittstelle ansprechbar macht.
- Eine Zugriffsschicht mit Anmeldung und Rechtevergabe, damit nur Berechtigte das System nutzen.
- Optional eine RAG-Anbindung, damit das Modell auf interne Dokumente zugreifen kann.
Die benötigte Hardware richtet sich nach Modellgröße und Nutzerzahl – kleinere Modelle laufen bereits auf überschaubaren Servern.
Verantwortung bleibt im Haus
Lokaler Betrieb entbindet nicht von den allgemeinen Pflichten: Auch hier gehören die Verarbeitung in das Verzeichnis der Verarbeitungstätigkeiten, Zugriffsbeschränkungen sind zu setzen, und Mitarbeitende sollten wissen, welche Daten sie eingeben dürfen. Der entscheidende Unterschied ist, dass diese Verantwortung im Unternehmen liegt und nicht an einen externen Anbieter delegiert werden muss.
Wer KI ernsthaft und rechtssicher nutzen will, kommt am lokalen Betrieb daher kaum vorbei – er ist der Weg, Produktivitätsgewinne zu heben, ohne die Kontrolle über die eigenen Daten aufzugeben.