KI im Büroalltag: So führst du ChatGPT & Co. im KMU sicher ein

In diesem Beitrag: Schatten-KI, die KI-Kompetenz-Pflicht aus dem EU AI Act, Datenschutz-Grundregeln, eine einseitige KI-Richtlinie und ein 30-Tage-Plan für die Einführung.

In vielen Büros läuft es so: Jemand lässt sich von ChatGPT eine schwierige Mail vorformulieren, eine Kollegin fasst ein langes PDF mit Gemini zusammen, der Vertrieb probiert Copilot für Angebotstexte. Offiziell entschieden hat das niemand. Genutzt wird, was gerade im Browser oder auf dem Handy ist, oft mit privaten Accounts.

Verbieten bringt dich selten weiter, denn die Arbeitserleichterung ist echt. Besser ist, die Nutzung aus der Grauzone zu holen: mit freigegebenen Tools, klaren Regeln und einer kurzen Schulung. So gelingt das im KMU ohne großes Projekt.

Warum das Thema jetzt auf den Tisch gehört

KI ist im Mittelstand angekommen. Laut einer aktuellen Bitkom-Befragung von 603 Unternehmen ab 20 Beschäftigten setzen 2026 erstmals 57 Prozent der Unternehmen KI ein, vor einem Jahr waren es 36 Prozent. Gleichzeitig sagen 59 Prozent der Anwender, dass sie das Potenzial von KI überhaupt nicht ausschöpfen. Als größte Hürde nennen Unternehmen mit KI-Einsatz den Datenschutz (66 Prozent), gefolgt von rechtlicher Verunsicherung (56 Prozent).

Parallel wächst die Nutzung ohne Freigabe. In einer Bitkom-Umfrage zur Schatten-KI vom Oktober 2025 gaben 8 Prozent der Unternehmen an, dass Beschäftigte private KI-Tools wie ChatGPT im Job weit verbreitet nutzen, in 17 Prozent gibt es Einzelfälle, weitere 17 Prozent vermuten es. Nur 23 Prozent hatten Regeln für KI-Tools aufgestellt, und nur 23 Prozent der Unternehmen mit 20 bis 99 Beschäftigten stellten ihren Leuten Zugang zu generativer KI bereit.

„Die Unternehmen sollten KI-Wildwuchs vermeiden und der Entwicklung einer Schatten-KI vorbeugen. Dazu müssen sie klare Regeln für den KI-Einsatz aufstellen und ihren Beschäftigten KI-Technologien zur Verfügung stellen.“ Dr. Ralf Wintergerst, Bitkom-Präsident (Quelle: Bitkom-Presseinformation vom 21.10.2025)

Genau diese beiden Hebel brauchst du, und beide sind in wenigen Wochen machbar.

KI-Kompetenz: Was der EU AI Act von dir verlangt

Seit dem 2. Februar 2025 gilt Artikel 4 der europäischen KI-Verordnung (EU AI Act). Er gilt auch für Betreiber, also Unternehmen, die KI im Arbeitsalltag einsetzen: Sie müssen Maßnahmen ergreifen, um die KI-Kompetenz ihres Personals zu unterstützen. Im Sommer 2026 wurde Artikel 4 durch den sogenannten KI-Omnibus angepasst: Die Pflicht bleibt, ein bestimmtes Kompetenzniveau einzelner Personen muss aber nicht garantiert werden.

Betrifft dich das, wenn dein Team „nur“ ChatGPT nutzt? Die EU-Kommission beantwortet genau diese Frage in ihren FAQ zu Artikel 4 mit Ja: Wer ChatGPT etwa für Werbetexte oder Übersetzungen einsetzt, soll über die konkreten Risiken informiert werden, zum Beispiel über Halluzinationen, also erfundene Fakten.

Die gute Nachricht für KMU: Laut Bundesnetzagentur zur KI-Kompetenz schreibt die Verordnung kein bestimmtes Schulungsformat vor, keine externe Zertifizierung und keinen KI-Beauftragten. Die Behörde empfiehlt drei Schritte:

1. Bedarf ermitteln: Wer nutzt welche KI-Systeme, wofür und mit welchen Risiken?
2. Maßnahmen gestalten: Schulung oder Leitfaden passend zu Vorwissen, Aufgabe und Risiko.
3. Dokumentieren, evaluieren, auffrischen: Art, Umfang und Teilnehmende der Maßnahmen festhalten und regelmäßig aktualisieren.

Für ein Büro mit Standard-Tools sind eine kurze Schulung, ein Leitfaden und eine Teilnehmerliste ein solider Anfang. Wichtig: Dieser Artikel ist eine praktische Orientierung, keine Rechtsberatung. Wer Hochrisiko-KI-Systeme betreibt, hat zusätzliche Pflichten, etwa zur menschlichen Aufsicht durch geschultes Personal.

Datenschutz: Die DSGVO-Grundregeln für ChatGPT & Co.

Die Datenschutzkonferenz von Bund und Ländern hat in ihrer Orientierungshilfe „KI und Datenschutz“ zusammengefasst, worauf Unternehmen achten sollten. Für den Büroalltag lassen sich daraus fünf Grundregeln ableiten:

• Betriebliche statt private Accounts: Arbeitgeber sollten Geräte und Accounts bereitstellen. Private Zugänge erzeugen Profile über einzelne Beschäftigte und entziehen sich jeder Kontrolle.
• Kein Training mit euren Eingaben: Datenschutzrechtlich vorzugswürdig sind Anwendungen, die Ein- und Ausgaben nicht zum Training verwenden. Stell die entsprechenden Optionen schon beim Einrichten der Accounts so ein.
• Vertrag mit dem Anbieter: Läuft die KI als Cloud-Dienst, ist häufig ein Auftragsverarbeitungsvertrag (AVV) nach Art. 28 DSGVO nötig. OpenAI etwa bietet laut eigener Datenschutzseite einen AVV für ChatGPT Business, Enterprise und die API an und nutzt Daten aus Diensten für Privatpersonen auch fürs Training. Wo möglich, wähle zusätzlich eine Datenverarbeitung in der EU.
• Keine Kunden- und Personaldaten in freie Tools: Namen zu löschen reicht oft nicht, weil sich der Personenbezug aus dem Zusammenhang ergeben kann. Gesundheitsdaten und ähnlich sensible Daten haben in solchen Tools nichts zu suchen.
• Ergebnisse prüfen: KI-Texte können falsch sein. Bevor etwas an Kunden geht oder weiterverarbeitet wird, schaut ein Mensch drüber.

Außerdem empfiehlt die DSK, Datenschutzbeauftragte früh einzubinden und eine Beteiligung des Betriebsrats zu prüfen, falls es einen gibt.

Deine KI-Richtlinie auf einer Seite

Eine KI-Richtlinie muss kein Handbuch sein. Die DSK rät zu klaren, dokumentierten internen Regeln mit konkreten Beispielen für erlaubte und untersagte Einsätze. Bitkom empfiehlt, vor allem festzulegen, welche Tools zu welchem Zweck erlaubt sind, und Geschäftsgeheimnisse, Urheberrecht und Datenschutz anzusprechen. Für ein KMU reicht oft eine Seite:

• Freigegebene Tools: Welche KI-Anwendungen mit welchem Account genutzt werden dürfen. Alles andere ist bis zur Prüfung tabu.
• Erlaubt: Entwürfe für Mails, Texte und Zusammenfassungen, Recherche zu öffentlichen Themen, Umformulieren und Übersetzen eigener Texte ohne Personenbezug.
• Nicht erlaubt: Kunden-, Bewerber- und Personaldaten, Passwörter, Verträge und vertrauliche Zahlen in nicht freigegebene Tools; Entscheidungen über Menschen allein durch KI.
• Vier-Augen-Prinzip: KI liefert Entwürfe, ein Mensch prüft Fakten, Zahlen und Ton, bevor etwas rausgeht.
• Kennzeichnung: Wann KI-Unterstützung intern oder gegenüber Kunden offengelegt wird.
• Zuständigkeit: Eine Person, die neue Tools und Anwendungsfälle freigibt und Fragen beantwortet, in kleinen Firmen oft die Geschäftsführung.

Formuliere sie als Erlaubnis mit Leitplanken. Eine Richtlinie, die nur verbietet, treibt die Nutzung zurück in den Schatten.

Sieben erste Anwendungsfälle fürs Büro

Starte mit Aufgaben, die oft vorkommen, wenig Risiko haben und leicht zu prüfen sind. Diese sieben Fälle eignen sich für den Einstieg:

1. E-Mail-Entwürfe: Antworten auf Standardanfragen, Absagen, Erinnerungen. Personenbezogene Details setzt du erst im Mailprogramm ein.
2. Besprechungsnotizen: Aus Stichpunkten ein sauberes Protokoll mit Aufgabenliste machen. Bei Mitschnitten vorher klären, ob alle Beteiligten einverstanden sind.
3. Angebotsentwürfe: Leistungsbeschreibungen und Textbausteine formulieren lassen. Preise und Konditionen kommen aus deinem System, nicht aus der KI.
4. FAQ und Wissensbausteine: Antwortentwürfe auf häufige Kundenfragen für Website oder Service.
5. Recherche und Zusammenfassungen: Öffentliche Studien oder Marktberichte zusammenfassen und Kernaussagen an der Quelle prüfen.
6. Umformulieren und übersetzen: Fachtext verständlich machen, englische Unterlagen übersetzen.
7. Stellenanzeigen und Website-Texte: Erste Entwürfe, die du mit echten Details aus deinem Betrieb füllst.

Bei allen sieben gilt: Die KI schreibt den ersten Entwurf, die Verantwortung bleibt bei dir.

Der 30-Tage-Plan für die Einführung

Du brauchst kein großes Projekt, aber eine feste Reihenfolge:

1. Tage 1 bis 7, Bestandsaufnahme: Frag offen und ohne Vorwürfe, wer welche KI-Tools wofür nutzt. Sammle die Anwendungsfälle und lege fest, wer intern verantwortlich ist.
2. Tage 8 bis 14, Tool und Vertrag: Wähle ein Business-Tool, prüfe AVV, Trainingseinstellungen und Speicherort, richte betriebliche Accounts ein. Schreib die einseitige Richtlinie.
3. Tage 15 bis 21, Schulung und Pilot: Eine Stunde Grundlagen: Was KI kann, wo sie halluziniert, welche Daten tabu sind, wie gute Prompts aussehen. Dann ein Pilot mit zwei bis drei Anwendungsfällen.
4. Tage 22 bis 30, Auswertung und Doku: Was spart Zeit, was nicht? Richtlinie anpassen, Schulung und Teilnehmende dokumentieren, einen Termin zum Auffrischen in drei bis sechs Monaten setzen.

Danach entscheidest du, ob ihr beim Chat-Tool bleibt oder einzelne Abläufe tiefer automatisiert. Bitkom-Präsident Ralf Wintergerst bringt es nüchtern auf den Punkt: „Wer nur eine Lizenz kauft, hat KI eingekauft, aber noch nichts verändert.“

Wann sich externe Unterstützung lohnt

Für den Start mit einem Chat-Tool brauchst du meist keine Agentur. Anders wird es, wenn KI direkt in deine Abläufe soll, etwa Anfragen aus dem Postfach vorsortieren oder Angebote aus dem CRM vorbereiten. Dann kommen Schnittstellen, Datenflüsse und Freigaben dazu.

Bei Taveno bauen wir solche KI-Agenten und Automatisierungen für KMU. Ein Auftragsverarbeitungsvertrag ist dabei Standard, wir nutzen nur KI-Zugänge, bei denen deine Daten nicht ins Modelltraining fließen, und zu jedem KI-Agenten gibt es eine Einordnung nach DSGVO und EU AI Act. Zur Einführung gehört, dass wir das System mit deinem Team durchgehen und schulen, bevor es live geht. Ein Agent schlägt am Anfang nur vor, ein Mensch aus deinem Team gibt frei.

Fazit

Schatten-KI zeigt vor allem, dass dein Team Arbeit sparen will. Nutze das: Gib ein geprüftes Business-Tool frei, schreib eine Seite Regeln, schule dein Team und dokumentiere das. So schützt du Kundendaten, setzt die Grundidee der KI-Kompetenz-Pflicht um und holst die Arbeitserleichterung aus der Grauzone.

Welche Aufgabe in deinem Betrieb sich als Erstes für KI eignet, schauen wir uns gern im kostenlosen 30-minütigen Erstgespräch an. Klick dazu im Taveno-Profil hier auf Agenturmarkt auf „Jetzt kontaktieren“ oder buch den Termin über taveno.de. Lieber erst selbst loslegen? Im Bereich Ressourcen des Profils findest du die kostenlose Checkliste „KI-Sichtbarkeit in 30 Tagen“.

Häufige Fragen

Brauchen wir für die KI-Kompetenz ein Zertifikat?

Nein. Laut Bundesnetzagentur und EU-Kommission ist kein Zertifikat vorgeschrieben. Empfohlen wird, Art, Umfang und Teilnehmende eurer Schulungen intern zu dokumentieren.

Ist die kostenlose Version von ChatGPT für Kundendaten okay?

Nein. Für personenbezogene Daten brauchst du eine Rechtsgrundlage, in der Regel einen Auftragsverarbeitungsvertrag und Einstellungen ohne Training mit euren Eingaben.

Wer sollte bei uns zuständig sein?

Eine Person, die Tools freigibt, Fragen beantwortet und die Richtlinie aktuell hält. Einen eigenen KI-Beauftragten verlangt die KI-Verordnung nicht. Den Datenschutzbeauftragten solltest du einbinden.

Über den Autor: Moritz-Tim Schiller ist Gründer von Taveno Solutions in Oberhausen, einer Digitalagentur für KMU mit Fokus auf Websites, KI-Agenten, Automatisierung und Performance-Marketing. Er beschäftigt sich unter anderem damit, wie kleine und mittlere Unternehmen KI im Alltag sicher und sinnvoll einsetzen.