KI im Unternehmen einführen: Der 90-Tage-Plan vom Pilot in den Alltag

Ein ganz normaler Dienstag in einem Handwerksbetrieb. Die Chefin hat am Wochenende drei Angebotstexte mit ChatGPT geschrieben, der Geselle lässt sich auf dem privaten Handy Kundenmails formulieren, und im Büro fragt sich jemand, ob das eigentlich erlaubt ist. So oder ähnlich sieht es in vielen kleinen und mittleren Betrieben aus. KI wurde ausprobiert, ein paar E-Mails sind entstanden, vielleicht eine Stellenanzeige. Und dann? Passiert oft nichts mehr. Die Begeisterung verpufft, jeder macht sein eigenes Ding, und niemand kann sagen, ob sich das lohnt. Wer KI im Unternehmen einführen will, braucht dafür kein dickes Strategiepapier. Ein klarer Plan für die nächsten drei Monate reicht. Genau den zeigen wir dir hier, Woche für Woche, inklusive der Stolpersteine, die wir in der Praxis immer wieder sehen.

Kurz gesagt: KI im Unternehmen einzuführen gelingt KMU am besten in vier Phasen über rund 13 Wochen: Bestandsaufnahme und Auswahl eines einzigen Use Cases (Woche 1 und 2), ein Pilot mit vorher festgelegten Messgrößen (Woche 3 bis 6), eine schlanke KI-Richtlinie plus Schulung (Woche 7 bis 10) und der Rollout mit laufender Messung (Woche 11 bis 13). Entscheidend sind eine verantwortliche Person, ein messbarer Ausgangswert und klare Regeln, welche Tools und Daten erlaubt sind. Seit dem KI-Omnibus verlangt Artikel 4 des AI Act, dass Unternehmen die KI-Kompetenz ihrer Leute fördern. Schulung gehört also in jeden Plan.

Warum so viele KMU nach dem ersten ChatGPT-Test feststecken

Dass KI im Mittelstand angekommen ist, belegen die Umfragen dieses Jahres von Bitkom, ifo und KfW. Die wichtigsten Zahlen dazu haben wir im Beitrag zur KI-Automatisierung für KMU eingeordnet. Je nach Erhebung nutzt inzwischen jedes fünfte bis jedes zweite Unternehmen KI. Bei den ganz kleinen Betrieben sieht es nüchterner aus: Laut KfW Research setzten Firmen mit weniger als fünf Beschäftigten zwischen 2022 und 2024 zu 19 Prozent KI ein (KfW Research, Februar 2026).

Für diesen Beitrag ist eine andere Zahl wichtiger. In der Bitkom-Umfrage vom März 2026 unter 604 Unternehmen ab 20 Beschäftigten berichten nur 52 Prozent von einem messbaren Beitrag der KI zum Unternehmenserfolg. Ein Drittel stellte fest, dass KI deutlich höhere Kosten verursacht hat als erwartet (Bitkom, März 2026). Viele Betriebe nutzen KI also, können aber nicht belegen, ob es sich rechnet.

Die eigentliche Lücke liegt deshalb zwischen „ausprobiert“ und „im Alltag verankert und messbar“. Fast immer hat sie dieselben Ursachen: kein konkreter Anwendungsfall, kein Ausgangswert, keine verantwortliche Person, keine Regeln. An diesen vier Punkten setzt der Plan an, und zwar in genau dieser Reihenfolge.

Was heißt eigentlich „KI im Unternehmen einführen“?

KI einzuführen bedeutet nicht, eine Software zu kaufen. Es bedeutet, dass ein klar beschriebener Arbeitsschritt dauerhaft anders erledigt wird als vorher, mit einem KI-Werkzeug, festen Regeln und einem messbaren Ergebnis. Ein Mitarbeiter, der gelegentlich privat ChatGPT öffnet, ist noch keine KI-Einführung. Ein Steuerbüro, das jede Mandantenanfrage nach einem festen Ablauf von einem freigegebenen KI-Assistenten vorsortieren lässt und die Bearbeitungszeit misst, ist eine.

Ein KI-Pilotprojekt ist dabei der zeitlich begrenzte Test eines einzelnen Anwendungsfalls mit wenigen Beteiligten und vorher festgelegten Erfolgskriterien. Eine KI-Roadmap für KMU ist die Abfolge solcher Schritte: erst ein Pilot, dann der Rollout, dann der nächste Anwendungsfall. Drei Monate sind für den ersten Durchlauf ein guter Rahmen. Das ist lang genug für echte Ergebnisse und kurz genug, damit niemand das Projekt aus den Augen verliert.

Woche 1 und 2: Bestandsaufnahme und der richtige Use Case

Bevor du dir auch nur ein Tool anschaust, kommt eine ehrliche Bestandsaufnahme. Zwei Fragen helfen dabei. Erstens: Wo verlieren wir heute regelmäßig Zeit mit Routinearbeit? Zweitens: Wer nutzt bereits welche KI-Tools, offiziell oder inoffiziell?

Die zweite Frage ist unangenehmer, als sie klingt. In einer Bitkom-Umfrage vom Oktober 2025 gaben 8 Prozent der Unternehmen an, dass die Nutzung privater KI-Tools durch Beschäftigte bei ihnen weit verbreitet ist, weitere 17 Prozent kannten Einzelfälle. Gleichzeitig stellten nur 26 Prozent ihren Leuten offiziell generative KI zur Verfügung (Bitkom, Oktober 2025). Wer nicht fragt, plant an der Realität vorbei. Eine kurze, anonyme Umfrage im Team reicht oft: Welche Tools nutzt ihr, wofür, und was nervt euch im Alltag am meisten?

Aus den Antworten entsteht eine Liste möglicher Anwendungsfälle. Typisch für kleine Betriebe sind zum Beispiel:

• Angebote und Kostenvoranschläge aus Stichpunkten vorformulieren (Handwerksbetrieb)
• eingehende E-Mails vorsortieren und Antwortentwürfe erstellen (Steuerbüro, Arztpraxis)
• Produktbeschreibungen und Kategorietexte schreiben (Onlineshop)
• Protokolle aus Besprechungen zusammenfassen (Verein, Geschäftsführung)
• interne Fragen zu Abläufen und Handbüchern beantworten (jeder Betrieb mit wachsendem Team)

Nach welchen Kriterien wählst du den ersten Use Case aus?

Für den ersten Pilot nimmst du genau einen Anwendungsfall, nicht drei. Wir prüfen jeden Kandidaten mit vier Fragen:

1. Häufigkeit: Kommt die Aufgabe mindestens wöchentlich vor? Nur dann lohnt sich das Einüben.
2. Messbarkeit: Können wir heute schon sagen, wie lange sie dauert oder wie oft sie anfällt? Ohne Ausgangswert gibt es später keinen Vergleich.
3. Risiko: Was passiert, wenn die KI einen Fehler macht? Für den Start eignen sich Aufgaben, bei denen ein Mensch das Ergebnis ohnehin prüft.
4. Daten: Braucht die Aufgabe personenbezogene oder vertrauliche Daten? Wenn ja, ist sie für den ersten Pilot meist zu schwer.

Der ideale erste Use Case ist häufig, gut messbar, risikoarm und kommt ohne sensible Daten aus. Beim Handwerksbetrieb kann das der Angebotstext sein, beim Onlineshop die Produktbeschreibung, beim Verein das Sitzungsprotokoll. Ein besonders dankbarer Kandidat sind wiederkehrende Kundenanfragen per Mail; wie so ein Pilot im Detail aussieht, zeigen wir im Beitrag E-Mail-Anfragen mit KI beantworten. Spektakulär ist das alles nicht. Muss es auch nicht sein. Du brauchst einen sicheren ersten Erfolg, auf dem du aufbauen kannst.

Wer ist verantwortlich?

Noch in den ersten zwei Wochen legst du fest, wer das Projekt verantwortet. In kleinen Betrieben ist das selten eine Vollzeitstelle. Meist ist es eine Person, die ohnehin gern mit neuen Tools arbeitet und im Team akzeptiert ist, zum Beispiel die Büroleitung oder ein technikaffiner Geselle. Diese Person wird KI-verantwortlich: Sie sammelt Erfahrungen, pflegt die Liste der erlaubten Tools, beantwortet Fragen im Team und berichtet der Geschäftsführung. Plane dafür realistisch ein paar Stunden pro Woche ein. Wer das „nebenbei“ erledigen soll, erledigt es erfahrungsgemäß gar nicht.

Woche 3 bis 6: Der Pilot mit klaren Messgrößen

Jetzt wird es praktisch. Zwei bis vier Personen arbeiten vier Wochen lang mit dem ausgewählten Werkzeug an dem einen Anwendungsfall. Vorher, am besten schon in Woche 2, notierst du den Ausgangswert. Wie lange dauert ein Angebotstext heute im Schnitt? Wie viele Kundenmails landen pro Woche im Postfach, und wie lange braucht die Bearbeitung? Eine einfache Strichliste über eine Woche genügt. Sie muss nicht wissenschaftlich sein, nur ehrlich.

Gute Messgrößen für einen KI-Pilot sind:

• Zeit pro Vorgang vorher und nachher
• Nacharbeitsquote: Wie oft musste das KI-Ergebnis stark überarbeitet werden?
• Fehler: Wie oft war etwas inhaltlich falsch?
• Zufriedenheit im Team: eine kurze Einschätzung auf einer Skala von 1 bis 5
• Kosten: Lizenzgebühren und die Zeit, die das Einarbeiten gekostet hat

Wichtig ist, dass die Beteiligten ihre Erfahrungen festhalten. In einem gemeinsamen Dokument landen gute Prompts, Fehlschläge und Tricks. Daraus wird später die Arbeitsanleitung für alle anderen.

Am Ende von Woche 6 steht eine ehrliche Entscheidung: weitermachen, anpassen oder abbrechen. Ein abgebrochener Pilot ist kein Scheitern, solange du weißt, warum er nicht funktioniert hat. Vielleicht war der Anwendungsfall zu selten, vielleicht fehlten die Daten, vielleicht passte das Tool nicht. Diese Erkenntnis kostet vier Wochen und erspart dir eine große Fehlinvestition.

Warum die Kosten oft höher ausfallen als gedacht

Dass so viele Unternehmen von unerwartet hohen KI-Kosten berichten, liegt selten an den Lizenzgebühren. Meist sind es versteckte Posten: Zeit für Einarbeitung und Nachkontrolle, zusätzliche Abos, weil jede Abteilung ihr eigenes Tool bucht, oder Integrationsaufwand, der im Pilot nicht eingeplant war. Pauschale Budgetzahlen helfen deshalb wenig. Schreib im Pilot lieber alle Kosten mit, auch die Arbeitszeit. Dann weißt du nach sechs Wochen, was der Rollout wirklich kosten wird.

Woche 7 bis 10: Regeln, Richtlinie und Schulung

Hat der Pilot überzeugt, braucht es Spielregeln. Das klingt bürokratisch, macht aber aus einem Experiment eine Arbeitsweise. Laut der Bitkom-Umfrage vom Oktober 2025 hatten erst 23 Prozent der Unternehmen Regeln für den Einsatz von KI-Tools aufgestellt, weitere 31 Prozent hatten es fest vor. Wer hier sauber arbeitet, ist also weiter als die meisten.

Was gehört in eine KI-Richtlinie für KMU?

Eine KI-Richtlinie muss kein 40-seitiges Handbuch sein. Für einen kleinen Betrieb reichen oft zwei Seiten, wenn sie diese Punkte klar regeln:

• Erlaubte Tools: Welche KI-Werkzeuge sind freigegeben, mit welchem Konto (Firmenkonto statt privatem Zugang)?
• Erlaubte Daten: Was darf hinein, was niemals? Kundendaten, Gesundheitsdaten, Personalakten und Geschäftsgeheimnisse gehören in frei zugängliche Dienste grundsätzlich nicht hinein.
• Prüfpflicht: KI-Ergebnisse werden vor der Weitergabe an Kunden von einem Menschen gelesen und verantwortet.
• Kennzeichnung: Wo Kunden direkt mit einem Chatbot sprechen, wird das offen gesagt.
• Freigabeweg: Wer entscheidet über neue Tools? In der Regel die oder der KI-Verantwortliche zusammen mit der Geschäftsführung.

Beim Datenschutz lohnt ein zweiter Blick auf Auftragsverarbeitungsverträge, Serverstandorte und die Einstellungen der Tools, etwa ob Eingaben zum Training verwendet werden. Wie das konkret geht, haben wir im Beitrag KI datenschutzkonform einsetzen Schritt für Schritt beschrieben.

KI-Kompetenz nach Artikel 4 AI Act: Was hat sich durch den KI-Omnibus geändert?

Seit dem 2. Februar 2025 gilt Artikel 4 der europäischen KI-Verordnung, die sogenannte KI-Kompetenzpflicht. Ursprünglich mussten Anbieter und Betreiber von KI-Systemen Maßnahmen ergreifen, um nach besten Kräften ein ausreichendes Maß an KI-Kompetenz ihres Personals sicherzustellen. Mit dem KI-Omnibus, der Verordnung (EU) 2026/1744 vom 8. Juli 2026, die am 27. Juli 2026 in Kraft getreten ist, wurde diese Pflicht abgeschwächt (EUR-Lex, Verordnung (EU) 2026/1744). Jetzt müssen sie Maßnahmen ergreifen, um die KI-Kompetenz ihres Personals zu fördern. Ein bestimmtes Kompetenzniveau müssen sie nicht mehr gewährleisten. Kommission und Mitgliedstaaten sollen Unternehmen, vor allem KMU, dabei unterstützen.

Für die Praxis heißt das: Entwarnung ja, Freifahrtschein nein. Die Pflicht besteht weiter, sie ist nur realistischer formuliert. Unabhängig vom Gesetz gibt es außerdem einen wirtschaftlichen Grund: Wer nicht weiß, wo KI halluziniert oder welche Daten tabu sind, produziert Fehler und Risiken. Eine Schulung ist deshalb mehr als ein Pflichttermin zum Abhaken. Hier geht der Pilot vom kleinen Team auf alle über.

In einem kleinen Betrieb kann die Schulung so aussehen: ein halber Tag mit Grundlagen (wie arbeiten Sprachmodelle, wo liegen ihre Grenzen), den Regeln aus der Richtlinie und vor allem den konkreten Beispielen aus dem Pilot. Die Kolleginnen und Kollegen aus dem Pilotteam zeigen selbst, was funktioniert hat. Das überzeugt mehr als jede Folie. Halte fest, wer wann geschult wurde, damit du die Maßnahmen bei Bedarf belegen kannst.

Woche 11 bis 13: Vom Pilotteam in den ganzen Betrieb

In den letzten drei Wochen geht der Anwendungsfall in den Alltag. Alle, die die Aufgabe erledigen, arbeiten jetzt mit dem freigegebenen Werkzeug und der Anleitung aus dem Pilot. Die oder der KI-Verantwortliche bleibt erste Anlaufstelle und sammelt Rückmeldungen.

Gemessen wird weiter mit denselben Größen wie im Pilot. Nur so siehst du, ob der Effekt hält, wenn nicht mehr nur die Begeisterten mitmachen. Ein häufiges Muster: Im Pilot sinkt die Bearbeitungszeit deutlich, im Rollout etwas weniger, weil nicht jeder gleich schnell lernt. Das ist normal. Entscheidend ist, dass der Wert stabil besser bleibt als der Ausgangswert.

Am Ende von Woche 13 steht ein kurzes Fazit für die Geschäftsführung: Was hat es gebracht, was hat es gekostet, was lernen wir daraus? Und dann die wichtigste Frage: Welcher Anwendungsfall kommt als Nächstes? Damit beginnt der zweite Durchlauf, der erfahrungsgemäß schneller geht, weil Richtlinie, Rollen und Schulungsgrundlagen schon stehen.

Die vier Phasen im Überblick

Phase	Ziel	Ergebnis	Messgröße
Woche 1 und 2: Bestandsaufnahme	Engpässe und heimliche KI-Nutzung kennen	ein ausgewählter Use Case, eine verantwortliche Person	Ausgangswert erhoben (Zeit, Menge)
Woche 3 bis 6: Pilot	Nutzen im kleinen Team testen	Entscheidung: weiter, anpassen oder stoppen	Zeit pro Vorgang, Nacharbeitsquote, Fehler
Woche 7 bis 10: Regeln und Schulung	sicher und einheitlich arbeiten	KI-Richtlinie, Toolliste, geschultes Team	Anteil geschulter Mitarbeitender, Richtlinie verabschiedet
Woche 11 bis 13: Rollout	Alltag statt Experiment	Anwendungsfall im Regelbetrieb, nächster Use Case benannt	Zeit und Kosten gegenüber Ausgangswert

Fünf Stolpersteine, über die kleine Betriebe immer wieder fallen

Die meisten KI-Projekte in kleinen Betrieben scheitern nicht an der Technik. Sie scheitern an ein paar Mustern, die sich mit etwas Planung vermeiden lassen.

Schatten-KI statt freigegebener Tools

Wenn das Unternehmen kein Werkzeug bereitstellt, suchen sich die Leute selbst eins. Das ist menschlich, aber riskant: Kundendaten landen in privaten Konten, niemand weiß, was wohin fließt, und Erfahrungen bleiben bei Einzelnen hängen. Verbote allein helfen wenig. Besser ist ein freigegebenes Tool mit Firmenkonto und klaren Regeln, dann fällt der Grund zum heimlichen Ausweichen weg.

Fehlende oder verstreute Daten

Viele Anwendungsfälle funktionieren nur, wenn die KI auf das Wissen des Betriebs zugreifen kann: Preislisten, Textbausteine, Abläufe, frühere Angebote. Liegt das verstreut in Ordnern, Postfächern und Köpfen, bleibt jedes KI-Werkzeug oberflächlich. Deshalb wählen wir für den ersten Pilot bewusst eine Aufgabe, die ohne große Datenbasis auskommt, und kümmern uns parallel um Ordnung im Wissen. Warum das Aufbereiten von Unternehmenswissen für viele Betriebe der lohnendste nächste Schritt ist, zeigt unser Beitrag zum KI-Wissensmanagement.

Keine Messung

Ohne Ausgangswert bleibt jede Bewertung ein Bauchgefühl. „Fühlt sich schneller an“ überzeugt keinen Steuerberater und keine Bank. Die Strichliste vor dem Pilot ist unspektakulär, aber sie ist der Unterschied zwischen einem Projekt, das man verteidigen kann, und einem, das bei der nächsten Sparrunde gestrichen wird.

Zu viel auf einmal

Der häufigste Fehler ist der Wunsch, gleich alles zu automatisieren. Fünf Piloten parallel überfordern jedes kleine Team. Ein Anwendungsfall pro Durchlauf klingt langsam, führt aber schneller ans Ziel, weil jeder Erfolg den nächsten leichter macht.

Überzogene Erwartungen

KI spart Zeit bei vielen Routineaufgaben, ersetzt aber weder Fachwissen noch Verantwortung. Wer mit dem Versprechen startet, die Hälfte der Arbeit falle weg, erntet Enttäuschung. Welche Versprechen in der KI-Beratung regelmäßig nicht halten, haben wir in unserem Beitrag über KI-Mythen in der Digitalisierungsberatung gesammelt.

Brauchst du dafür externe Hilfe?

Nicht unbedingt. Den Plan oben kann ein engagiertes Team selbst umsetzen. Eine externe Begleitung lohnt sich vor allem, wenn niemand im Betrieb Zeit für die KI-Verantwortung hat, wenn der gewünschte Anwendungsfall sensible Daten oder eine Anbindung an bestehende Software braucht, oder wenn die Geschäftsführung eine neutrale Einschätzung möchte, bevor Geld in Lizenzen fließt.

Gute Beratung befähigt das Team, statt es abhängig zu machen. Am Ende der 90 Tage sollte dein Betrieb den nächsten Durchlauf selbst steuern können. Bei den Kosten hilft der Staat: Die BAFA-Förderung für Unternehmensberatung kann bis zu 80 Prozent der Beratungskosten abdecken. Ob und in welcher Höhe sie für dich infrage kommt, hängt von deiner Situation ab. Einen Überblick findest du auf unserer Seite zur BAFA-Förderung.

Fazit: Lieber ein Anwendungsfall, der läuft, als fünf, die stocken

KI im Unternehmen einzuführen ist weniger eine Technikfrage als eine Frage der Reihenfolge. Für den ersten Durchlauf brauchst du einen Anwendungsfall, eine verantwortliche Person, einen Ausgangswert, ein paar klare Regeln und eine Schulung mit Beispielen aus dem eigenen Betrieb. Mehr nicht. Nach 90 Tagen weißt du, was KI bei dir tatsächlich bringt. Und wenn wieder jemand im Büro fragt, ob das eigentlich erlaubt ist, gibt es eine klare Antwort.

Wenn du dabei Unterstützung möchtest, begleiten wir dich im Rahmen unserer Digitalisierungsberatung von der Bestandsaufnahme bis zum Rollout. Sprich uns gern über die Kontaktseite an.

Häufige Fragen (FAQ)

Wie lange dauert es, KI im Unternehmen einzuführen?

Für einen ersten Anwendungsfall sind rund 90 Tage ein realistischer Rahmen: zwei Wochen Bestandsaufnahme, vier Wochen Pilot, vier Wochen für Richtlinie und Schulung und drei Wochen Rollout. Jeder weitere Anwendungsfall geht schneller, weil Rollen, Regeln und Schulungsgrundlagen dann schon stehen.

Welcher KI-Anwendungsfall eignet sich für den Start in einem kleinen Betrieb?

Am besten eine Aufgabe, die mindestens wöchentlich anfällt, sich messen lässt, ohne sensible Daten auskommt und bei der ein Mensch das Ergebnis ohnehin prüft. Typische Beispiele sind Angebotstexte, Antwortentwürfe für E-Mails, Produktbeschreibungen oder Besprechungsprotokolle.

Müssen Mitarbeitende nach dem AI Act zur KI geschult werden?

Artikel 4 des AI Act verpflichtet Unternehmen, die KI einsetzen, Maßnahmen zur KI-Kompetenz ihrer Beschäftigten zu ergreifen. Durch den KI-Omnibus, die Verordnung (EU) 2026/1744, die am 27. Juli 2026 in Kraft getreten ist, wurde die Pflicht abgeschwächt: Statt KI-Kompetenz sicherzustellen, müssen Unternehmen sie nun fördern. Eine dokumentierte Schulung bleibt der einfachste Weg, dem nachzukommen.

Was ist eine KI-Richtlinie und braucht ein KMU so etwas?

Eine KI-Richtlinie ist ein kurzes internes Regelwerk, das festlegt, welche KI-Tools erlaubt sind, welche Daten hineindürfen, wer Ergebnisse prüft und wer über neue Tools entscheidet. Für ein KMU reichen oft zwei Seiten. Sie schützt vor Schatten-KI und Datenschutzproblemen und macht den KI-Einsatz für alle nachvollziehbar.

Was kostet eine KI-Einführung im Mittelstand?

Das hängt stark vom Anwendungsfall ab, eine seriöse Pauschale gibt es nicht. Viele Unternehmen berichten, dass KI teurer wurde als erwartet. Deshalb lohnt es sich, im Pilot alle Kosten inklusive Arbeitszeit mitzuschreiben. Für die Beratung kann die BAFA-Förderung bis zu 80 Prozent der Kosten übernehmen.