Das KI-Projekt, das alle gut finden

Was ist die Ausgangslage?

Ein fiktiver Großhändler erhält einen Vorschlag für einen KI-Assistenten. Das System soll Kundenanfragen lesen, Angebote vorbereiten und interne Produktinformationen berücksichtigen. Im Demo-Video wirkt die Lösung überzeugend. Die Geschäftsführung erwartet rasche Entlastung, Vertrieb und IT unterstützen das Vorhaben. Eine erfahrene Sachbearbeiterin fragt, wie die Anwendung mit Sonderkonditionen, vertraulichen Daten und widersprüchlichen Produktinformationen umgeht. Die Präsentation springt rasch zum nächsten Slide. Für den Pilot sind 60.000 Euro vorgesehen. Der IT-Bereich kennt die vorgesehenen Datenflüsse noch nicht vollständig. Das KI-Projekt könnte sinnvoll sein. Eine belastbare Evaluation fehlt bisher. Du sitzt im Investitionsausschuss und sollst heute die nächsten Schritte entscheiden.

Welche Ereignisse verändern die Entscheidungslage?

Zeit und Informationen sind eigens für dieses Lernbeispiel erfunden.

Fallvertiefung · Das KI-Projekt mit dokumentiertem Nutzungsbruch

Ein zweites Datenblatt erhöht den Entscheidungsdruck. Stell dir dieselbe Entscheidung bei einem Fachverlag vor, der bereits 420.000 Euro in eine eigene KI-Redaktionsplattform gesteckt hat. Die Geschäftsführung hat das Projekt öffentlich gelobt. Nach einem achtwöchigen Piloten verwenden nur drei von 25 Fachredakteuren die Lösung regelmäßig. Der Lieferant fordert weitere 190.000 Euro für eine Nachbesserung. Die Werte sind konstruierte Beispielwerte aus der alternativen Fallfassung und stammen aus keiner Studie.

Der Lenkungskreis trennt nun versunkene Mittel und künftige Entscheidung. Die 420.000 Euro dürfen nicht zum Argument werden, die nächsten 190.000 Euro automatisch zu genehmigen. Ein Test mit repräsentativen Aufgaben aus dem Redaktionsalltag vergleicht die Sonderentwicklung, eine bestehende Standardlösung und den bisherigen Prozess. Fachkundige Personen prüfen vertrauliche Daten, Halluzinationen, Fehlerfolgen, Bearbeitungszeit und laufende Betreuung. Bei juristischen oder regulatorischen Inhalten darf ein guter Gesamtscore unzulässige Falschauskünfte nicht ausgleichen.

Der Lerneffekt steckt in einer sauberen Erfolgsdefinition: Kosten pro geprüfter Aufgabe, freiwillige Nutzung unter geeigneten Bedingungen und messbare Fehlerquote. Ein Pilot muss vorab festlegen, welche Abweichung zum Stopp, zu einer begrenzten Korrektur oder zu einem neuen Test führt. Der Projektpate erhält ein geordnetes Abschlussprotokoll. Niemand darf die Schwächen darin als „Widerstand gegen Technik“ abtun.

Entscheidungspunkt 1: Die glänzende Vorlage

STOPP: Die Lösung verspricht deutliche Zeitersparnis. Was fehlt dir für eine Pilotfreigabe?

Der Ausschuss benennt eine Baseline: Wie lange dauert der bestehende Angebotsprozess, welche Fehler sind kritisch, welche Informationen dürfen genutzt werden? Die Sachbearbeiterin erhält den Auftrag, auch unangenehme Spezialfälle beizusteuern.

Prüffrage: Welche drei Testfälle würden den Produktanbieter herausfordern?

Zwischenfazit: Eine gute Demo zeigt auch den schlechten Fall.

Entscheidungspunkt 2: Der Pilot zeigt gemischte Ergebnisse

STOPP: Viele Standardfälle funktionieren. Zwei falsche Sonderkonditionen tauchen auf. Was machst du?

Im konstruierten Versuch dürfen Vorschläge nur nach qualifizierter Prüfung versendet werden. Fehler werden separat dokumentiert. Der Anbieter erhält konkrete Anforderungen, die vor einem erneuten Test erfüllt sein müssen. Das Management weist darauf hin, dass Datenschutzprüfung und Rollenrechte parallel laufen.

Prüffrage: Bei welcher Fehlerart müsste dein Pilot sofort pausieren?

Zwischenfazit: Ein guter Durchschnitt neutralisiert keine rote Linie.

Entscheidungspunkt 3: Rollout unter Zeitdruck

STOPP: Der Vorstand möchte den Erfolg kommunizieren. Die kritischen Fehler sind noch nicht vollständig behoben. Was beschließt du?

Der Ausschuss erlaubt in der Geschichte nur interne Vorlagen für wenig riskante Standardanfragen. Externe Angebote gehen weiterhin durch menschliche Prüfung. Kritische Sonderfälle bleiben ausgeschlossen. Ob das Projekt wirtschaftlich erfolgreich wird, muss erst die nächste Messung zeigen.

Prüffrage: Welche Belege erlauben eine Erweiterung des Anwendungsbereichs?

Zwischenfazit: Die Freigabe erhält der überprüfte Einsatzfall.

Gegenprüfung · Die Frage nach dem Neustart

Zero-Base-Gegenfrage: Würdest du mit dem heutigen Wissen dieselbe zusätzliche Ausgabe auch genehmigen, wenn es das Projekt bisher noch nicht gäbe? Der Vergleich darf eine andere Lösung ergeben. Ein niedrigerer Lizenzpreis macht ein Standardmodell weder datenschutzkonform noch genau oder wirtschaftlich. Auch eine Standardlösung braucht Evaluation und eine klare Verantwortung.

Welche Denk- und Organisationsfehler werden im Rückblick sichtbar?

Der Bestätigungsfehler besteht darin, Informationen bevorzugt zu beachten, die zur eigenen Erwartung passen. Ein Führungsteam, das sich gemeinsam für KI begeistert, kann Risiken leicht als Randfälle behandeln. Der HBR-Beitrag von Kahneman, Lovallo und Sibony (2011) beschreibt, wie Verzerrungen große strategische Entscheidungen beeinflussen können; er belegt nicht den konkreten Nutzen eines KI-Produkts. Hilfreich ist ein Pre-Mortem: Das Team stellt sich einen gescheiterten Rollout vor und sammelt plausible Ursachen. Damit die Übung keine Alibi-Liste bleibt, bekommt jedes Risiko einen Testfall und eine verantwortliche Person. Datenschutz, Informationssicherheit, rechtliche Zulässigkeit und Schutz von Geschäftsdaten sind eigene Prüfpfade. Keine Testquote aus einem konstruierten Beispiel darf als Benchmark für andere Systeme ausgegeben werden.

Die Hintergründe erklären die Seiten Confirmation Bias und Bias bei KI. Die Fallgeschichte erklärt diese Konzepte anhand der damaligen Informationslage, ohne eine direkte Ursache-Wirkungs-Beziehung aus einer einzelnen Szene zu behaupten.

Welche Lehren lassen sich übertragen?

1. Demo und Betrieb trennen. Testfälle aus der realen Arbeit bilden, auch schwierige.
2. Gegenhypothese formulieren. Suche aktiv nach Fällen, in denen das System scheitert.
3. Kritische Fehler separat sehen. Risikoarten haben unterschiedliche Folgen.
4. Verantwortung klären. Menschliche Freigabe und Datenzugriff explizit regeln.
5. Rollout stufen. Bereiche einzeln freigeben und einen Abschaltpunkt definieren.

Die Bewertungsfrage lautet: „Verbessert dieser Prozess an diesen Fällen nachvollziehbar das Ergebnis?“ Das ist besonders relevant, wenn Daten im Training, in Protokollen oder im Betrieb genutzt werden. Verträge, Datenschutz und Informationssicherheit brauchen dokumentierte Prüfungen. Den sachlichen Widerspruch der Sachbearbeiterin nutzt du als Quelle für Testfälle. Auch die Alternative ohne KI muss auf dem Tisch bleiben. Vielleicht löst eine bessere Vorlage einen Teil des Problems günstiger.

Was würdest du in deiner eigenen Situation entscheiden?

Häufige Fragen