Suche in eigenen Dokumenten
Angebote, Verträge, Protokolle, technische Unterlagen: Statt Dateinamen zu raten, stellen Sie eine Frage und bekommen die Antwort mit Quellenangabe aus Ihren eigenen Beständen.
Lokale KI · Datensouveränität
KI, die Ihr Haus nicht verlässt.
Sprachmodelle, Dokumentensuche und Assistenzfunktionen auf eigener Hardware — ohne Anbieter, der mitliest, und ohne Lizenz pro Kopf und Monat. Wir planen, richten ein und betreiben.
Ausgangslage
Warum viele Betriebe bei KI zögern — zu Recht
Die Daten gehen aus dem Haus
Sobald ein Angebot, ein Vertrag oder eine Personalakte in ein Eingabefeld kopiert wird, verlässt sie das Unternehmen. Was dort passiert, steht in Nutzungsbedingungen, die sich ändern können. Für viele Inhalte ist das schlicht keine Option.
Die Rechtslage ist unübersichtlich
DSGVO, EU-KI-Verordnung, Betriebsrat, Berufsgeheimnisse: Wer KI einführt, muss mehr klären als die Frage, welches Werkzeug am schnellsten antwortet. Die Unsicherheit führt dazu, dass gar nichts passiert — oder dass Beschäftigte es ohne Absprache privat nutzen.
Die Kosten wachsen pro Kopf
Assistenzfunktionen werden pro Nutzer und Monat abgerechnet. Bei zwanzig Arbeitsplätzen ist das eine dauerhafte Position im Budget — unabhängig davon, wie oft jemand sie tatsächlich benutzt.
Der Nutzen bleibt unbelegt
„KI einführen“ ist kein Ziel. Ohne konkreten Anwendungsfall bleibt ein Werkzeug ungenutzt und wird nach ein paar Monaten wieder abbestellt. Wir fangen deshalb mit der Frage an, welche wiederkehrende Arbeit Zeit frisst.
Der Ansatz
Was „lokale KI“ konkret bedeutet
Ein offenes Sprachmodell läuft auf einem Server in Ihrem Haus oder in Ihrer privaten Cloud. Die Anfragen Ihrer Beschäftigten gehen an diesen Server und sonst nirgendwohin. Bedient wird das Ganze über eine Weboberfläche, die aussieht wie die bekannten Dienste — oder direkt aus den Anwendungen heraus, die Sie ohnehin benutzen.
Technisch setzen wir auf denselben Unterbau, den wir auch sonst betreiben: Proxmox als Virtualisierung, Linux als Basis, eine GPU per Passthrough an die Maschine durchgereicht, offene Modelle mit nachvollziehbarer Lizenz. Kein Blackbox-Gerät, keine Abhängigkeit von einem einzelnen Hersteller.
- Modelle laufen auf Ihrer Hardware — kein Datenabfluss, kein Training mit Ihren Inhalten
- Keine Lizenz pro Nutzer: Die Kosten stecken in Hardware, Strom und Betreuung
- Anbindung an Nextcloud, Dateiablagen oder Fachanwendungen möglich
- Modelle austauschbar — was in einem Jahr besser ist, wird eingesetzt
- Betrieb, Updates und Backup laufen über dieselben Prozesse wie Ihre übrige IT
Passt zu unserer Open-Source-Haltung
Wir setzen dort auf offene Software, wo sie den Betrieb tatsächlich verbessert: Proxmox statt proprietärer Virtualisierung, Nextcloud als souveräne Dateiablage, Linux auf Servern, OPNsense auf geeigneten Firewall-Appliances. Lokale KI ist die konsequente Fortsetzung: Der Nutzen bleibt, die Abhängigkeit nicht.
Das heißt nicht, dass alles quelloffen sein muss. Wo ein kommerzielles Produkt die bessere Antwort ist, sagen wir das — bei Endpoint-Schutz und UTM-Firewalls zum Beispiel. Entscheidend ist, dass die Wahl bewusst getroffen wird und nicht aus Gewohnheit.
Einsatzfälle
Wo lokale KI im Mittelstand wirklich hilft
Entwürfe statt leerer Seite
Angebotstexte, Antwortmails, Leistungsbeschreibungen. Der Entwurf kommt in Sekunden, die Verantwortung für den Inhalt bleibt beim Menschen — das ändert sich durch kein Modell.
Protokolle und Zusammenfassungen
Besprechungsnotizen strukturieren, lange Mailverläufe verdichten, Aufgaben herausziehen. Besonders nützlich dort, wo niemand Zeit für saubere Dokumentation hat.
Wissen im Betrieb halten
Wenn erfahrene Kolleginnen und Kollegen gehen, geht Wissen mit. Eine durchsuchbare Wissensbasis aus vorhandenen Unterlagen federt das ab.
Übersetzung ohne Umweg
Technische Texte, Lieferantenkorrespondenz und Dokumentation übersetzen, ohne dass Inhalte an einen Übersetzungsdienst gehen.
Erste Einordnung im Support
Eingehende Anfragen vorsortieren und mit passenden internen Unterlagen verknüpfen — als Vorarbeit für Menschen, nicht als Ersatz.
Voraussetzungen
Was es dafür braucht — ehrlich gerechnet
Hardware
Ein Server mit ausreichend Arbeitsspeicher und einer geeigneten GPU. Die Größe richtet sich danach, wie viele Menschen gleichzeitig arbeiten und wie groß das Modell sein muss. Für kleine Teams reicht deutlich weniger, als oft angenommen wird — auch geprüfte gebrauchte Serverhardware kommt infrage.
Strom und Platz
Eine GPU im Dauerbetrieb kostet Strom und erzeugt Wärme. Das gehört in die Rechnung, bevor man vergleicht — und macht bei kleinen Nutzerzahlen manchmal die Cloud zur günstigeren Antwort.
Betrieb
Modelle, Oberfläche und Schnittstellen brauchen Updates wie jede andere Software. Wir nehmen die Systeme in dieselbe Wartung und Überwachung wie Ihre übrige Infrastruktur.
Wann lokale KI nicht die richtige Antwort ist
Wir empfehlen sie nicht um jeden Preis. Gegen einen lokalen Betrieb spricht es, wenn nur zwei oder drei Personen gelegentlich etwas zusammenfassen wollen — dann steht die Hardware die meiste Zeit still. Auch wenn Ihre Aufgaben ausgerechnet die Stärken der großen Anbietermodelle brauchen, ist eine Cloud-Lösung mit sauber geregelter Auftragsverarbeitung die ehrlichere Empfehlung.
Rechtlicher Rahmen
Ein lokaler Betrieb vereinfacht vieles, hebt aber nicht alle Pflichten auf: Beschäftigtendatenschutz, Mitbestimmung und die Anforderungen der EU-KI-Verordnung gelten unabhängig vom Serverstandort. Wir unterstützen bei der technischen Umsetzung und Dokumentation — Rechtsberatung ist das ausdrücklich nicht.
Vorgehen
In vier Schritten zum ersten produktiven Einsatz
- Anwendungsfall festlegen. Welche wiederkehrende Arbeit kostet messbar Zeit? Ohne diese Antwort fangen wir nicht an.
- Machbarkeit prüfen. Datenlage, Hardwarebedarf, Kosten und Alternativen — schriftlich und vergleichbar.
- Pilot aufsetzen. Ein Modell, eine Oberfläche, eine überschaubare Gruppe. Vier bis sechs Wochen, mit vereinbarten Kriterien.
- Entscheiden und betreiben. Trägt der Nutzen, geht das System in den regulären Betrieb — mit Wartung, Überwachung und Backup. Trägt er nicht, war der Pilot trotzdem die günstigere Erkenntnis.
„Die interessante Frage ist nicht, ob KI etwas kann. Sie ist, welche Arbeit in Ihrem Betrieb jede Woche wiederkehrt — und ob sich daran etwas ändern lässt, ohne dass Ihre Daten das Haus verlassen."
Benjamin Raulf · BR-SystemsFAQ
Kurz geklärt
Brauchen wir dafür eine teure Grafikkarte?+
Nicht zwingend. Für Textzusammenfassungen, Entwürfe und Dokumentensuche in kleinen Teams reicht häufig ein Server mit einer einzelnen Consumer- oder Workstation-GPU. Erst wenn viele Menschen gleichzeitig arbeiten oder große Modelle gefordert sind, wird die Hardware zum Kostenfaktor. Wir rechnen das vorher durch, statt Technik zu verkaufen, die stillsteht.
Ist eine lokale KI so gut wie ChatGPT oder Copilot?+
Nein, nicht bei allem. Die großen Anbietermodelle sind bei komplexem Schlussfolgern weiter vorn. Für die Aufgaben, die im Mittelstand tatsächlich anfallen — Texte zusammenfassen, Entwürfe erstellen, in eigenen Dokumenten suchen, Protokolle strukturieren — sind offene Modelle inzwischen gut genug. Entscheidend ist, wofür Sie es einsetzen wollen.
Was passiert mit unseren Daten?+
Sie bleiben auf Ihrer Hardware. Ein lokal betriebenes Modell hat keine Verbindung nach außen, es sei denn, man baut sie bewusst ein. Es gibt keinen Anbieter, der mitliest, kein Training mit Ihren Inhalten und keine Auftragsverarbeitung, die jemand prüfen müsste.
Ersetzt lokale KI unsere Microsoft-365-Umgebung?+
Nein. Die beiden schließen sich nicht aus. Viele Betriebe fahren Microsoft 365 für Zusammenarbeit und E-Mail und nutzen daneben ein lokales Modell für alles, was das Haus nicht verlassen soll — Personalunterlagen, Kalkulationen, Verträge, Konstruktionsdaten.
Lohnt sich lokale KI für Ihren Betrieb?
Wir prüfen den Anwendungsfall, rechnen die Hardware durch und sagen Ihnen ehrlich, ob es sich trägt.