Donnerstagnachmittag, Geschäftsführerrunde in einem Maschinenbaubetrieb mit 60 Mitarbeitenden. Der Vertriebsleiter erzählt, dass zwei Kollegen ihre Angebote inzwischen mit einem kostenlosen Chatbot aus dem Internet vorformulieren. Die Buchhaltung fragt, ob man Eingangsrechnungen nicht automatisch auslesen könnte. Und die Personalabteilung hat gelesen, dass es eine Schulungspflicht für KI gibt. Alle reden über KI im Mittelstand, aber niemand weiß so recht, wo man anfangen soll und was davon erlaubt ist.
So oder ähnlich beginnen viele Gespräche, die wir mit Unternehmen in Sachsen führen. Künstliche Intelligenz ist längst im Büro angekommen, oft inoffiziell und ohne Regeln. Gleichzeitig wächst die Sorge, Geld in Werkzeuge zu stecken, die nach drei Monaten niemand mehr nutzt.
Wir bei der GOHAN GmbH in Glashütte betreuen kleine und mittlere Unternehmen bei IT, Cloud, Dokumenten und KI. Als zertifizierter Microsoft Partner beraten wir nicht nur, sondern führen KI-Lösungen ein und betreiben sie dauerhaft in Ihrer bestehenden Umgebung. Dieser Praxisleitfaden ordnet die wichtigsten Bausteine, zeigt einen Einstieg in Stufen und erklärt, was rechtlich zum Stand Oktober 2026 gilt.
Das Wichtigste im Überblick
- Ziel vor Werkzeug: Erfolgreiche KI-Projekte beginnen bei einem konkreten Prozess, nicht bei einem Tool.
- Fünf Bausteine: KI-Assistent im Office (Copilot), eigene KI-Agenten, Prozessautomatisierung, KI am Telefon und KI im Dokumentenmanagement decken die meisten Anwendungsfälle im Mittelstand ab.
- Einstieg in Stufen: Erst Regeln und Datenbasis, dann ein Pilot mit messbarem Nutzen, dann ausrollen und erweitern.
- Recht im Blick: Art. 4 AI Act verlangt seit Februar 2025 Maßnahmen zur KI-Kompetenz, seit August 2026 gelten Transparenzpflichten. Die DSGVO gilt unverändert.
- Schatten-KI vermeiden: Wer kein freigegebenes Werkzeug anbietet, hat am Ende trotzdem KI im Haus, nur ohne Kontrolle über die Daten.
Warum KI im Mittelstand jetzt ein Thema für die Geschäftsführung ist
Für kleine und mittlere Betriebe ist KI weniger eine Frage der Zukunftsvision als eine Frage der Kapazität. Fachkräfte fehlen, die Verwaltung wächst, und Routinearbeit frisst Zeit, die für Kunden und Aufträge fehlt. Genau dort setzt KI an: beim Zusammenfassen, Vorformulieren, Auslesen, Weiterleiten und Beantworten wiederkehrender Fragen.
Der zweite Grund ist Kontrolle. In fast jedem Unternehmen nutzen Mitarbeitende bereits KI-Werkzeuge aus dem Internet, oft mit privaten Konten. Kundendaten, Angebotspreise oder Personalinformationen landen so in Systemen, über die das Unternehmen keine Kontrolle hat. Diese sogenannte Schatten-KI verschwindet nicht durch ein Verbot, sondern dadurch, dass ein besseres, freigegebenes Werkzeug zur Verfügung steht.
Der dritte Grund ist rechtlich. Mit dem EU AI Act gibt es seit 2025 erstmals verbindliche Regeln für den Einsatz von KI, die auch für kleine Betriebe gelten. Wer jetzt strukturiert startet, erfüllt diese Anforderungen nebenbei, statt sie später nachträglich aufarbeiten zu müssen.
Die fünf Bausteine für KI im Mittelstand
Hinter dem Schlagwort KI verbergen sich sehr unterschiedliche Werkzeuge. Für den Mittelstand haben sich in unserer Praxis fünf Bausteine bewährt, die sich gut kombinieren lassen und auf der Microsoft- und Cloud-Umgebung aufsetzen, die viele Betriebe ohnehin nutzen.
1. Der KI-Assistent im Office: Microsoft 365 Copilot
Microsoft 365 Copilot arbeitet direkt in Word, Excel, PowerPoint, Outlook und Teams. Er fasst lange E-Mail-Verläufe zusammen, protokolliert Besprechungen, entwirft Angebote aus Stichpunkten und wertet Tabellen in natürlicher Sprache aus. Der Unterschied zu frei verfügbaren Chatbots: Copilot arbeitet mit Ihren Unternehmensdaten, aber nur mit den Inhalten, auf die der jeweilige Nutzer ohnehin Zugriff hat. Damit das funktioniert, müssen Lizenzen, Berechtigungen und Datenablage stimmen. Wie wir das vorbereiten, beschreiben wir auf unserer Seite zu Microsoft 365 Copilot für Unternehmen.
2. Eigene KI-Agenten für wiederkehrende Fragen
Ein KI-Agent ist ein spezialisierter Assistent für eine klar umrissene Aufgabe. Beispiele aus dem Mittelstand sind ein Onboarding-Assistent für neue Mitarbeitende, eine interne Wissensdatenbank zu Richtlinien und Abläufen oder ein Agent, der Angebote auf Basis Ihrer Vorlagen vorbereitet. Solche Agenten bauen wir per No-Code in Microsoft Copilot Studio. Sie antworten ausschließlich auf Grundlage freigegebener Inhalte und übergeben an einen Menschen, wenn sie nicht weiterwissen. Mehr dazu auf unserer Seite zu KI-Agenten mit Copilot Studio.
3. Prozessautomatisierung mit Power Automate und KI
Rechnungen weiterleiten, Freigaben einholen, Daten von einem System ins nächste übertragen: Solche Abläufe lassen sich mit Power Automate automatisieren. KI-Bausteine erweitern das auf Aufgaben, die bisher menschliches Verständnis brauchten, etwa das Erkennen eines Anliegens in einer E-Mail. Der Nutzen ist gut messbar, weil sich für jeden Prozess die eingesparte Zeit beziffern lässt. Wie wir das angehen, zeigt unsere Seite zur KI-Automatisierung mit Power Automate.
4. KI am Telefon
Ein KI-Telefonassistent nimmt Anrufe rund um die Uhr an, beantwortet häufige Fragen, bucht Termine und leitet mit Zusammenfassung an die richtige Person weiter. Für Handwerk, Praxen und Dienstleister mit hohem Anrufaufkommen ist das oft der schnellste sichtbare Nutzen. Wir setzen dafür Placetel AI ein, das direkt in der Placetel-Cloud-Telefonanlage läuft. Wie die Einführung konkret abläuft, lesen Sie in unserem Leitfaden KI-Telefonassistent einführen.
5. KI im Dokumentenmanagement
In papierintensiven Betrieben steckt viel Zeit im Erfassen und Ablegen von Rechnungen, Lieferscheinen und Verträgen. Intelligente Dokumentenverarbeitung erkennt den Dokumenttyp, liest Rechnungssteller, Betrag und Fälligkeit aus und ordnet das Dokument dem richtigen Vorgang zu. Die revisionssichere Ablage im DMS bleibt dabei erhalten. Dokumente sind unsere Ursprungskompetenz, deshalb verbinden wir hier zwei Kernthemen: intelligente Dokumentenverarbeitung im DMS.
| Baustein | Typischer Einsatz | Messbarer Nutzen |
|---|---|---|
| Microsoft 365 Copilot | E-Mails, Protokolle, Angebote, Excel-Auswertungen | Zeit pro Aufgabe, Nutzungsquote im Team |
| KI-Agenten (Copilot Studio) | Wissensfragen, Onboarding, Angebotsvorbereitung | Weniger Rückfragen, schnellere Antworten |
| Power Automate mit KI | Rechnungseingang, Freigaben, Datenübergaben | Eingesparte Minuten je Vorgang, weniger Fehler |
| KI-Telefonassistent | Anrufannahme, Termine, Weiterleitung | Weniger verpasste Anrufe, weniger Unterbrechungen |
| KI im Dokumentenmanagement | Belege auslesen, klassifizieren, ablegen | Weniger Abtippen, schnellere Auffindbarkeit |
Einstieg in Stufen: der Fahrplan für KMU
Der häufigste Fehler beim Thema KI ist der Start mit dem Werkzeug. Wer zuerst Lizenzen kauft und dann nach Anwendungsfällen sucht, landet oft in einer Pilotphase, die niemand beendet. Wir drehen die Reihenfolge um und arbeiten in vier Stufen.
- Standortbestimmung: Welche KI wird heute schon genutzt, offiziell und inoffiziell? Wie sind Lizenzen, Berechtigungen und Datenablage aufgestellt? Welche Prozesse kosten am meisten Zeit?
- Regeln und Grundlagen: Eine kurze KI-Richtlinie legt fest, welche Werkzeuge erlaubt sind und welche Daten hineindürfen. Parallel werden Berechtigungen in Microsoft 365 aufgeräumt.
- Pilot mit klarem Ziel: Ein bis zwei Anwendungsfälle mit einer kleinen Gruppe, etwa Copilot im Vertrieb oder die Automatisierung des Rechnungseingangs. Vorher wird festgelegt, woran Erfolg gemessen wird.
- Ausrollen und erweitern: Was im Pilot funktioniert, wird mit Schulung auf weitere Bereiche übertragen. Neue Anwendungsfälle kommen schrittweise hinzu.
Diese Reihenfolge klingt langsamer, als sie ist. Ein gut vorbereiteter Pilot läuft in vielen Betrieben nach wenigen Wochen, und die Ergebnisse liefern eine belastbare Grundlage für die nächste Investitionsentscheidung. Wer Unterstützung bei der Priorisierung möchte, startet mit unserer KI-Beratung und KI-Strategie: Readiness-Check, Roadmap und Wirtschaftlichkeitsbetrachtung in Festpreis-Paketen.
Checkliste: Ist Ihr Unternehmen bereit für KI?
- Es gibt eine verantwortliche Person für das Thema KI, nicht nur die IT.
- Sie wissen, welche KI-Werkzeuge Ihre Mitarbeitenden heute schon nutzen.
- Dateien liegen strukturiert in SharePoint, OneDrive oder einem DMS statt verstreut auf lokalen Laufwerken.
- Berechtigungen sind nachvollziehbar: Nicht jeder sieht alles.
- Eine KI-Richtlinie regelt erlaubte Werkzeuge und Daten.
- Für den ersten Anwendungsfall ist festgelegt, wie der Nutzen gemessen wird.
- Ihr Datenschutzbeauftragter ist früh eingebunden.
Rechtlicher Rahmen: AI Act und DSGVO zum Stand Oktober 2026
Die EU-KI-Verordnung (AI Act) gilt gestaffelt. Seit dem 2. Februar 2025 sind bestimmte KI-Praktiken verboten, und Art. 4 zur KI-Kompetenz ist anwendbar. Seit dem 2. August 2025 gelten Pflichten für Anbieter allgemeiner KI-Modelle. Seit dem 2. August 2026 greifen unter anderem die Transparenzpflichten nach Art. 50, etwa der Hinweis, dass man mit einer KI spricht.
Im Juli 2026 ist zudem das sogenannte Digital-Omnibus-Paket zur KI-Verordnung in Kraft getreten, die Verordnung (EU) 2026/1744. Es verschiebt die Pflichten für eigenständige Hochrisiko-KI-Systeme auf den 2. Dezember 2027. Für Art. 4 wurde der Wortlaut abgeschwächt: Unternehmen müssen Maßnahmen ergreifen, die die KI-Kompetenz ihres Personals fördern, ein bestimmtes Kompetenzniveau müssen sie aber nicht mehr sicherstellen. Die Pflicht gilt weiterhin unabhängig von der Unternehmensgröße, sobald Mitarbeitende KI-Systeme im Arbeitskontext nutzen.
Für die meisten Mittelständler bedeutet das konkret: Die eingesetzten Werkzeuge wie Copilot, ein Telefonassistent oder ein interner Agent fallen in der Regel nicht unter die Hochrisiko-Kategorie. Relevant sind vor allem drei Punkte. Erstens nachvollziehbare Schulungsmaßnahmen für alle, die KI nutzen. Zweitens Transparenz gegenüber Kunden, wo KI direkt mit ihnen kommuniziert. Drittens die DSGVO: Auftragsverarbeitungsverträge mit den Anbietern, ein aktualisiertes Verzeichnis der Verarbeitungstätigkeiten und bei sensiblen Anwendungen eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO.
Für die rechtliche Bewertung im Einzelfall beziehen Sie bitte Ihren Datenschutzbeauftragten oder einen Rechtsanwalt ein. Wir liefern die technische Umsetzung und haben eine zertifizierte Datenschutzbeauftragte im Haus, die bei der Abstimmung unterstützt. Die Schulungsmaßnahmen dokumentieren wir in unseren KI-Schulungen für Mitarbeitende, sodass Sie sie bei Bedarf nachweisen können.
So kann KI im Alltag eines KMU aussehen
Wie die Bausteine zusammenspielen, zeigen drei typische Szenarien, wie sie uns in Gesprächen mit Betrieben immer wieder begegnen. Sie sind bewusst vereinfacht, verdeutlichen aber, worum es im Alltag geht.
- Handwerksbetrieb mit 25 Mitarbeitenden: Der Telefonassistent nimmt Terminwünsche und Störungsmeldungen an, während die Monteure auf der Baustelle sind. Eingehende Rechnungen von Großhändlern werden automatisch ausgelesen und zur Freigabe an die Chefin geschickt. Das Büro gewinnt jeden Tag spürbar Zeit für Angebote und Kundenkontakt.
- Steuerkanzlei mit zwölf Mitarbeitenden: Copilot fasst lange Mandantenkorrespondenz zusammen und bereitet Standardschreiben vor. Ein interner Agent beantwortet Fragen neuer Kolleginnen zu Abläufen und Vorlagen. Wichtig sind hier klare Regeln, welche Mandatsdaten in welches Werkzeug dürfen.
- Produktionsbetrieb mit 120 Mitarbeitenden: Power Automate leitet Bestell- und Urlaubsfreigaben durch die richtigen Instanzen. Lieferscheine und Auftragsbestätigungen werden im DMS automatisch klassifiziert und dem Vorgang zugeordnet. Copilot-Lizenzen erhalten zunächst nur Vertrieb, Einkauf und Geschäftsführung.
Allen drei Beispielen ist gemeinsam, dass nicht das Werkzeug im Mittelpunkt steht, sondern ein konkreter Engpass. Und in allen drei Fällen startet niemand mit allem gleichzeitig. Übrigens: Wer Microsoft 365 nutzt, hat mit Microsoft 365 Copilot (Basic), früher Copilot Chat (Basic) genannt, bereits eine Einstiegsvariante ohne Zusatzlizenz zur Verfügung. Sie läuft mit dem Geschäftskonto und damit unter den Datenschutzzusagen von Microsoft. Das ist ein guter erster Schritt gegen Schatten-KI, ersetzt aber nicht die kostenpflichtige Premium-Stufe mit Zugriff auf Ihre Unternehmensdaten.
Kosten und Nutzen ehrlich bewerten
KI ist kein Selbstläufer. Lizenzen kosten monatlich Geld, die Einführung kostet Zeit, und ohne Schulung bleibt der Nutzen weit unter den Möglichkeiten. Deshalb rechnen wir vor jeder größeren Entscheidung mit realistischen Annahmen statt mit Herstellerversprechen.
Ein einfaches Beispiel: Spart eine Mitarbeiterin im Vertrieb durch Copilot täglich 20 Minuten beim Formulieren von Angeboten und Zusammenfassen von Mails, sind das bei 20 Arbeitstagen über sechs Stunden im Monat. Ob das die Lizenz rechtfertigt, hängt von ihrer Rolle ab. Für jemanden, der kaum am Rechner arbeitet, lohnt sich eine Copilot-Lizenz dagegen nicht. Darum empfehlen wir, Lizenzen gezielt nach Rollen zu vergeben statt flächendeckend.
Bei der Automatisierung ist die Rechnung noch klarer: Wie viele Rechnungen gehen pro Monat ein, wie viele Minuten kostet heute jede einzelne? Bei Telefonassistenten zählt, wie viele Anrufe verloren gehen. Diese Zahlen erheben wir gemeinsam, bevor investiert wird.
Typische Stolpersteine und wie Sie sie umgehen
- Ungeordnete Daten: Copilot findet auch Dateien, die nie für alle gedacht waren, wenn Berechtigungen zu großzügig gesetzt sind. Erst aufräumen, dann einschalten.
- Lizenzen ohne Befähigung: Eine Lizenz macht niemanden produktiver. Kurze, rollenbezogene Schulungen machen den Unterschied.
- Zu viele Baustellen gleichzeitig: Lieber ein Anwendungsfall, der wirklich trägt, als fünf halbe Piloten.
- Fehlender Betrieb: KI-Lösungen brauchen Pflege. Wissensbasen veralten, Abläufe ändern sich. Planen Sie die Betreuung von Anfang an mit ein.
- Insellösungen: Ein KI-Werkzeug, das nicht mit Microsoft 365, Telefonie und Dokumenten zusammenspielt, erzeugt neue Medienbrüche statt sie abzubauen.
Gerade der letzte Punkt ist der Grund, warum wir KI nie isoliert betrachten. Wenn IT, Cloud, Dokumente und KI aus einer Hand kommen, passen die Bausteine zusammen, und Sie haben einen Ansprechpartner, der das Zusammenspiel kennt. Für Betriebe in Dresden, im Osterzgebirge und in der Sächsischen Schweiz sind wir zudem persönlich vor Ort erreichbar.
FAQ: Häufige Fragen zu KI im Mittelstand
Starten Sie mit einer Bestandsaufnahme: Welche KI wird schon genutzt und welche Prozesse kosten am meisten Zeit? Danach legen Sie mit einer kurzen Richtlinie fest, welche Werkzeuge und Daten erlaubt sind. Im nächsten Schritt testen Sie ein bis zwei Anwendungsfälle mit einer kleinen Gruppe und messen den Nutzen. Erst dann wird ausgerollt.
Besonders bewährt haben sich KI-Assistenten im Office wie Microsoft 365 Copilot, eigene KI-Agenten für interne Wissensfragen, Prozessautomatisierung etwa im Rechnungseingang, KI-Telefonassistenten und KI im Dokumentenmanagement. Gemeinsam ist ihnen, dass sie wiederkehrende Routinearbeit übernehmen. Welche Anwendung zuerst kommt, hängt davon ab, wo in Ihrem Betrieb die meiste Zeit verloren geht.
Das hängt stark vom Baustein ab. Copilot wird pro Nutzer und Monat lizenziert, Telefonassistenten meist in Paketen mit Minutenkontingent, Automatisierungen über Lizenzen und einmaligen Einrichtungsaufwand. Hinzu kommen Beratung, Einführung und Schulung. Sinnvoll ist eine Wirtschaftlichkeitsbetrachtung je Anwendungsfall, bevor investiert wird.
Ja, der AI Act kennt keine generelle Ausnahme für kleine Betriebe. Wer KI-Systeme im Arbeitskontext einsetzt, muss nach Art. 4 Maßnahmen zur Förderung der KI-Kompetenz seines Personals ergreifen. Seit dem 2. August 2026 gelten zudem Transparenzpflichten, etwa bei KI, die direkt mit Kunden kommuniziert. Die meisten typischen Büroanwendungen fallen aber nicht unter die strengen Hochrisiko-Regeln.
Art. 4 AI Act verpflichtet seit dem 2. Februar 2025 Unternehmen, die KI einsetzen, zu Maßnahmen für die KI-Kompetenz ihres Personals. Durch das Digital-Omnibus-Paket vom Juli 2026 wurde der Wortlaut abgeschwächt: Gefordert sind fördernde Maßnahmen, kein festgelegtes Kompetenzniveau. Praktisch bedeutet das kurze, dokumentierte Schulungen zu Funktionsweise, Grenzen und internen Regeln. Für die rechtliche Einordnung im Einzelfall ist ein Rechtsanwalt oder Datenschutzbeauftragter der richtige Ansprechpartner.
Ja, wenn die Rahmenbedingungen stimmen. Dazu gehören Auftragsverarbeitungsverträge mit den Anbietern, Hosting möglichst in der EU, ein aktuelles Verzeichnis der Verarbeitungstätigkeiten und klare Regeln, welche Daten in welche Werkzeuge dürfen. Bei sensiblen Anwendungen kann eine Datenschutz-Folgenabschätzung nötig sein. Kostenlose Chatbots mit privaten Konten erfüllen diese Anforderungen meist nicht.
Schatten-KI bezeichnet KI-Werkzeuge, die Mitarbeitende ohne Freigabe des Unternehmens nutzen, oft mit privaten Konten. Dabei können Kundendaten, Preise oder Personalinformationen in fremde Systeme gelangen. Das Unternehmen verliert die Kontrolle darüber, was mit diesen Daten passiert. Die wirksamste Gegenmaßnahme ist ein freigegebenes, gut eingeführtes Werkzeug mit klaren Regeln.
In kleinen und mittleren Betrieben übernimmt KI vor allem Teilaufgaben: Vorformulieren, Zusammenfassen, Auslesen, Weiterleiten. Die gewonnene Zeit fließt in der Regel in Kundenkontakt, Qualität und Aufgaben, die bisher liegen geblieben sind. Gerade bei Fachkräftemangel hilft KI, mit dem vorhandenen Team mehr zu schaffen. Entscheidungen, Beratung und Verantwortung bleiben beim Menschen.
Copilot benötigt passende Microsoft-365-Lizenzen, eine geordnete Datenablage in SharePoint, OneDrive und Teams sowie sauber gesetzte Berechtigungen. Copilot greift nur auf Inhalte zu, die der jeweilige Nutzer ohnehin sehen darf. Sind Berechtigungen zu großzügig, findet Copilot auch Dateien, die nicht für alle gedacht waren. Deshalb gehört eine Prüfung der Berechtigungen vor jeden Rollout.
Ein externer Partner lohnt sich, sobald KI mehr sein soll als ein einzelnes Experiment und intern die Zeit oder das Know-how für Planung, Datenschutz und Betrieb fehlt. Wir bei der GOHAN GmbH begleiten Sie von der Strategie über die Einführung bis zum dauerhaften Betrieb. Weil wir auch Ihre IT, Microsoft 365, Telefonie und Dokumente betreuen, greifen die Bausteine ineinander statt Insellösungen zu bilden. Sie haben einen persönlichen Ansprechpartner aus der Region.
KI im Mittelstand starten: Wir begleiten Sie von der Idee bis zum Betrieb
Sie möchten wissen, wo KI in Ihrem Unternehmen den größten Nutzen bringt, und das ohne Hype und ohne Risiko für Ihre Daten? Wir schauen uns mit Ihnen Ihre Prozesse an, priorisieren die sinnvollen Anwendungsfälle und setzen sie Schritt für Schritt um. Danach bleiben wir Ihr Ansprechpartner für Betrieb, Pflege und Erweiterung.
Rufen Sie uns an unter 035053 3171-0 oder schreiben Sie uns über die Kontaktseite der GOHAN GmbH. Wir freuen uns auf das Gespräch, gern auch persönlich bei Ihnen vor Ort.