In der öffentlichen Wahrnehmung ist künstliche Intelligenz gleichbedeutend mit
gewaltigen Modellen, die in riesigen Rechenzentren laufen und nur über die Cloud erreichbar sind.
Dieser Eindruck führt im Mittelstand oft zu zwei falschen Schlüssen: KI sei entweder zu teuer oder
nur mit Datenabfluss in die USA zu haben. Beides stimmt zunehmend nicht mehr. Der wichtigste Trend
abseits der Schlagzeilen sind Small Language Models – kleine, effiziente Sprachmodelle, die
lokal auf bezahlbarer Hardware laufen.
Was ein Small Language Model ist
Die Größe eines Sprachmodells wird in Parametern gemessen. Während die bekanntesten Cloud-Modelle
hunderte Milliarden Parameter haben, kommen Small Language Models mit einem Bruchteil aus – oft im
Bereich weniger Milliarden. Durch Techniken wie Quantisierung, bei der die Modellgewichte
platzsparend abgelegt werden, schrumpft der Speicherbedarf weiter. Das Ergebnis: Modelle, die auf
einem normalen Geschäfts-PC mit guter Grafikkarte oder einem kompakten Server flüssig laufen –
ganz ohne Spezial-Rechenzentrum.
Warum klein oft genug ist
Der entscheidende Punkt: Die meisten Aufgaben im Unternehmensalltag brauchen keine Allzweck-KI,
die über jedes erdenkliche Thema philosophieren kann. Sie brauchen ein Werkzeug, das eine klar
umrissene Aufgabe zuverlässig erledigt:
- Texte zusammenfassen – etwa Protokolle, Berichte oder lange E-Mail-Verläufe
- Klassifizieren und Sortieren – Tickets, Anfragen oder Dokumente nach Kategorien
- Informationen extrahieren – Daten aus Rechnungen, Formularen oder Verträgen ziehen
- Formulierungen verbessern – Entwürfe glätten, übersetzen, Tonfall anpassen
- Fragen über die eigenen Dokumente beantworten – als Baustein einer Wissensdatenbank
Für solche eng gefassten Aufgaben liefern kleine Modelle erstaunlich gute Ergebnisse – und das
mit einem entscheidenden Vorteil: Sie antworten schneller und kosten im Betrieb deutlich weniger
als ein API-Aufruf bei einem Cloud-Anbieter, der pro Anfrage abgerechnet wird.
Die drei Vorteile für den Mittelstand
1. Datenschutz von Grund auf. Läuft das Modell auf Ihrer eigenen Hardware, verlassen die
verarbeiteten Daten das Haus nicht. Es gibt keine Anfrage an einen externen Dienst, keinen
Drittlandtransfer, keine Frage nach Auftragsverarbeitung. Gerade für Personaldaten, Verträge oder
Kundeninformationen ist das oft die Bedingung dafür, KI überhaupt einsetzen zu dürfen.
2. Kalkulierbare Kosten. Statt nutzungsabhängiger Cloud-Rechnungen, die mit dem Erfolg eines
KI-Features mitwachsen, zahlen Sie einmal die Hardware und danach nur den Strom. Das macht die
Wirtschaftlichkeit planbar – besonders bei Anwendungen, die viele Anfragen erzeugen.
3. Unabhängigkeit. Sie sind nicht davon abhängig, dass ein Anbieter ein Modell weiter
anbietet, die Preise stabil hält oder die Schnittstelle nicht ändert. Ein einmal eingerichtetes
lokales Modell läuft, solange Sie es betreiben.
Der praktische Einstieg
Werkzeuge wie Ollama machen den Betrieb lokaler Modelle heute fast trivial: Ein Modell ist mit
einem Befehl heruntergeladen und über eine Schnittstelle ansprechbar, die sich nahtlos in eigene
Anwendungen einbinden lässt. So lässt sich klein anfangen – etwa mit einem Modell auf einem
einzelnen Rechner für einen konkreten Anwendungsfall – und bei Bedarf wachsen.
Wichtig ist die richtige Erwartungshaltung: Wählen Sie das Modell nach der Aufgabe, nicht nach der
größtmöglichen Allround-Fähigkeit. Ein kleines, auf Ihre Aufgabe getestetes Modell schlägt im
Alltag häufig das vermeintlich überlegene Riesenmodell – weil es schneller, günstiger und
datenschutzkonform ist.
Wo die Grenzen liegen
Ehrlich gesagt: Für komplexe, offene Aufgaben – tiefgehende Recherche, anspruchsvolles
Programmieren, kreatives Schreiben auf höchstem Niveau – sind die großen Cloud-Modelle weiter
voraus. Der richtige Ansatz ist deshalb selten ein Entweder-oder, sondern eine bewusste Aufteilung:
Routineaufgaben mit sensiblen Daten lokal, anspruchsvolle Einzelfälle bei Bedarf über die Cloud –
dann aber mit klaren Regeln, welche Daten dort landen dürfen.
Fazit
Small Language Models verschieben die Frage „KI – ja oder nein?" hin zu „welche Aufgabe mit
welchem Modell wo?". Für den Mittelstand eröffnen sie einen Weg, KI dort einzusetzen, wo sie
konkreten Nutzen bringt – auf bezahlbarer Hardware, mit kalkulierbaren Kosten und ohne dass
vertrauliche Daten das Unternehmen verlassen.