Der Vertrag, den Ihre Sachbearbeiterin letzten Dienstag in einen Chatbot kopiert hat, ist auf einem Server gelandet, den Sie nie gesehen haben, zu Bedingungen, die Sie nie gelesen haben. In vielen Firmen ist genau das der Grund, warum KI im Büro noch verboten ist. Lokale KI erspart den Weg. Ein offenes Modell läuft auf einer Maschine in Ihrem Gebäude oder auf einem Server, der auf Ihren Namen gemietet ist, und Ihre Dokumente verlassen ihn nie.
Man nennt das auch On-Premise-KI, lokales Sprachmodell, selbst gehostete KI oder eigene KI fürs Unternehmen. Die Idee ist immer dieselbe: Das Modell ist ein Programm, das Sie selbst betreiben, wie Ihre Buchhaltungssoftware, und die Daten bleiben auf Ihrer Festplatte.
Aktuelle offene Modelle erledigen die Arbeit, die eine kleine Firma am meisten braucht: E-Mails lesen und sortieren, Antworten aus Ihren Dokumenten entwerfen, lange Dateien zusammenfassen, Fragen aus dem Knowledge Vault beantworten, Felder aus Rechnungen und Formularen ziehen. Bei schwierigen Schlussfolgerungen sind die größten Cloud-Modelle noch stärker. Wir sagen Ihnen vor dem Kauf einer Maschine, welche Ihrer Aufgaben auf welche Seite fallen.
Die Hardware ist kleiner, als die meisten erwarten. Eine Workstation mit einer starken Grafikkarte versorgt ein Team von zehn bis zwanzig Leuten mit den alltäglichen Aufgaben. Eine Firma mit größerem Volumen bekommt einen Server ins Rack. In beiden Fällen kaufen Sie einmal, die Maschine gehört Ihnen, und für das Modell fällt keine Gebühr pro Nutzer an.
Für Unternehmen in Deutschland, Österreich und der Schweiz ist das oft die sauberste Antwort auf die Datenfrage. Kundendaten bleiben im Land, die Liste der Auftragsverarbeiter wird kürzer, und Ihr Datenschutzbeauftragter kann das Anfrageprotokoll direkt auf der Maschine lesen.
Grenzen, die wir vorab nennen. Jemand muss die Maschine am Laufen halten und die Modelle aktualisieren; wir richten das ein und übernehmen es auf Wunsch im Rahmen einer Betreuung, oder wir geben es an Ihren IT-Partner. Offene Modelle werden alle paar Monate besser, deshalb ist der Aufbau so gebaut, dass sich das Modell tauschen lässt, ohne den Rest neu zu bauen. Und ein lokaler Aufbau lohnt sich nur, wenn das Volumen oder die Vertraulichkeit der Arbeit ihn rechtfertigt. Wenn nicht, sagen wir das im Gespräch.
Fragen, die wir oft hören
Ist lokale KI so gut wie ChatGPT?
Für die tägliche Büroarbeit über Ihre eigenen Dokumente: ja. Bei den schwierigsten Denkaufgaben liegen die größten Cloud-Modelle noch vorn. Wir ordnen Ihre Aufgaben beiden Seiten zu und bauen, wenn Sie es wünschen, einen Aufbau, der standardmäßig das lokale Modell nutzt und Sie fragt, bevor etwas an ein Cloud-Modell geht.
Was kostet die Maschine?
Zwischen einer guten Workstation und einem kleinen Server, je nach Volumen. Sie bekommen nach dem Gespräch eine konkrete Empfehlung mit Spezifikation und kaufen die Hardware selbst, bei einem Händler Ihrer Wahl.
Brauchen wir eine eigene IT-Abteilung?
Nein. Der Aufbau läuft wie ein Gerät. Updates und Überwachung laufen über eine Betreuung bei uns oder über Ihren bestehenden IT-Partner, den wir einweisen.
Wie sieht es mit der DSGVO aus?
Die Daten bleiben auf Hardware, die Sie kontrollieren. Damit fällt der KI-Anbieter für diese Arbeit aus Ihrer Liste der Auftragsverarbeiter. Ihre eigenen Pflichten nach der DSGVO bleiben bestehen, und wir übergeben die Systembeschreibung, die Ihr Datenschutzbeauftragter für das Verzeichnis braucht.