Warum Kontext über die Qualität von KI entscheidet

„AI is Eating the World.“ Kaum eine Aussage bringt die Dynamik der aktuellen Entwicklungen im Bereich KI treffender auf den Punkt. KI-Agenten übernehmen zunehmend mehr Aufgaben und verändern damit die Arbeitsweise von Unternehmen grundlegend. Was bedeutet dies nun für die Unternehmens-IT und für Mitarbeitende? Ersetzen KI-Systeme klassische Unternehmensanwendungen künftig? Oder entsteht vielmehr eine neue Arbeitsdynamik, die das Beste aus beiden Welten vereint?

Tatsächlich spricht viel für Zweiteres. Statt bestehende Unternehmenssoftware abzulösen, erweitert die KI sie. Das Marktforschungs- und Beratungsunternehmen IDC beschreibt diese Entwicklung als zusätzliche „Intelligence Layer“, die ihre Stärken erst im Zusammenspiel mit bereits vorhandenen Systemen entfaltet. Für Unternehmen entsteht hier die Herausforderung: KI muss sicher und effizient in bestehende Prozesse integriert werden, ohne Governance, Compliance oder Datensouveränität zu gefährden.

Operative Kernsysteme als unsichtbares Fundament

ERP-, CRM- und weitere Unternehmensanwendungen bilden seit Jahren das digitale Rückgrat vieler Organisationen. Hier werden Kundenbeziehungen verwaltet, Aufträge abgewickelt, Lieferketten gesteuert und Finanzdaten konsolidiert. Gleichzeitig definieren diese Systeme Geschäftsregeln, Berechtigungen und Prozesslogiken und sorgen dafür, dass Informationen konsistent und nachvollziehbar bleiben.

Gerade diese Eigenschaften machen operative Kernsysteme auch im Zeitalter der Künstlichen Intelligenz unverzichtbar. Denn KI erzeugt zwar Erkenntnisse, Empfehlungen oder Inhalte, verfügt jedoch selbst nicht über verlässliches „Wissen“.

Die eigentliche Herausforderung besteht deshalb nicht darin, möglichst viele KI-Anwendungen einzuführen. Entscheidend ist vielmehr, wie sich KI kontrolliert in die bestehende Unternehmensarchitektur integrieren lässt. Nur wenn die KI-Anwendungen auf konsistente Daten zugreifen und Geschäftsregeln berücksichtigen, entstehen Ergebnisse, die nicht nur überzeugend klingen – Stichwort Halluzinationen – sondern auch fachlich richtig und im Unternehmenskontext nutzbar sind.

Genau hier hat sich das Prinzip der Retrieval Augmented Generation (RAG) etabliert.

Kontext statt Halluzinationen

Statt Informationen ausschließlich aus dem trainierten Modell abzuleiten, werden mit RAG bei einer Anfrage gezielt relevante Inhalte aus den angebundenen Unternehmenssystemen abgerufen und als Kontext bereitgestellt. Das reduziert Halluzinationen, verbessert die Nachvollziehbarkeit und stellt sicher, dass aktuelle Unternehmensdaten in die Antwort einfließen.

Darüber hinaus wird der Token-Verbrauch reduziert und die Kosten für den Einsatz von LLMs planbar. Denn Token Maxxing entwickelt sich zunehmend zu einem der meistunterschätzten Kostenrisiken beim Einsatz generativer KI im Unternehmen. Auch weil viele Anbieter von fixen monatlichen Abokosten auf eine Token-basierte Abrechnung umstellen.

Bei Token Maxxing handelt es sich um den kostspieligen übermäßigen Verbrauch von Tokens bei der Nutzung von Large Language Models, die zunehmend die Budgets der Unternehmen belasten und die IT-Ausgabenplanung schwierig machen. Es entsteht, wenn das LLM zu viele Informationen erhält und viele Token verbraucht, bevor ein Ergebnis geliefert wird. Denn leider bedeutet im LLM-Umfeld viel Input nicht gleichzeitig qualitativ hochwertiger Output.

Durch den Einsatz von RAG arbeitet das LLM ausschließlich mit den relevanten Informationen, die zur Antwortgenerierung benötigt werden. Dadurch sinkt die Anzahl der benötigten Tokens pro Antwort, während gleichzeitig die Qualität der generierten Ergebnisse steigt. Dieser Ansatz eröffnet Unternehmen einen Weg, einerseits KI zu skalieren und andererseits nicht in die Kostenfalle zu tappen.

Dies ist aber nur ein Aspekt aus der breiten Palette der Einsatzmöglichkeiten von KI heute. Agentenbasierte Systeme beispielsweise analysieren Informationen aus unterschiedlichen Quellen, bereiten Entscheidungen vor und begleiten oder automatisieren definierte Prozessschritte. Der Fokus verschiebt sich zunehmend weg vom Chatbot, hin zur intelligenten Unterstützung kompletter Arbeitsabläufe.

Der Arbeitsplatz wird kontextbasiert

Mit dieser Entwicklung verändert sich auch die Art, wie Menschen mit Informationen arbeiten. Jahrzehntelang bestand der digitale Arbeitsplatz aus einer wachsenden Zahl spezialisierter Anwendungen. Für nahezu jede Aufgabe existierte ein eigenes System (Silo) – mit eigener Oberfläche, eigener Navigation und eigenen Daten.

Im Zeitalter der KI verliert diese Struktur zunehmend an Bedeutung. Mitarbeitende möchten nicht wissen, in welchem System eine Information gespeichert ist oder welche Anwendung sie als Nächstes öffnen müssen. Sie erwarten Antworten, Auswertungen und Prozessabläufe im jeweiligen Arbeitskontext ohne Wechsel der Benutzeroberfläche.

Genau hier setzen Konzepte wie ein Insight Workplace an. Statt bestehende Systeme zu ersetzen, schafft dieser einen zentralen Einstiegspunkt in das Unternehmenswissen, der Geschäftsprozesse und KI intelligent miteinander verbindet. Informationen lassen sich rollenbasiert, kontextbezogen und systemübergreifend bereitstellen, passend zur jeweiligen Aufgabe und unter Berücksichtigung der bestehenden Zugriffsberechtigungen sowie Compliance-Vorgaben.

Das Prinzip dahinter ist so einfach wie wirkungsvoll: Informationen werden nicht mehr isoliert in verschiedenen Anwendungen gesucht, sondern entlang konkreter Aufgaben und Rollen zusammengeführt. Eine Mitarbeiterin im Einkauf bekommt andere Informationen als ein Vertriebsleiter – beide erhalten aber genau das, was sie für ihren nächsten Arbeitsschritt benötigen, ohne aktiv danach suchen zu müssen. Die benötigten Informationen sind bequem über vordefinierte KI-Agenten (Insight Touchpoints) abrufbar, die auf ausgewählte Datenquellen zugreifen, dabei bestehende Zugriffsrechte respektieren und Compliance-Vorgaben konsequent einhalten.

Die KI übernimmt im Hintergrund auch die visuelle Aufbereitung der Daten: als strukturierte Übersicht, als Analysechart oder als Trigger für den nächsten Prozessschritt. Für den Nutzenden bleibt die Erfahrung intuitiv; die Komplexität der dahinterliegenden Systeme bleibt verborgen.

Werden mehrere Insight Touchpoints miteinander kombiniert, entstehen sogenannte Insight Journeys – wiederverwendbare, KI-gestützte Arbeitsabläufe, die Mitarbeitende durch wiederkehrende Prozesse begleiten.

Abb: Insight Workplace mit Insight Touchpoints

Wettbewerbsvorteil entsteht durch Zusammenspiel

Die Diskussion über Künstliche Intelligenz wird häufig auf die Leistungsfähigkeit von Sprachmodellen reduziert. Tatsächlich entscheidet jedoch etwas anderes über ihren langfristigen Erfolg: die Fähigkeit, Unternehmenswissen, Geschäftsprozesse und operative Systeme intelligent miteinander zu verbinden.

Die Zukunft gehört deshalb weder isolierten KI-Anwendungen noch einer vollständigen Ablösung bestehender Unternehmenssoftware. Vielmehr entsteht eine neue „Verbundenheit“, in der operative Kernsysteme weiterhin das verlässliche Fundament bilden. Darüber etabliert sich KI als intelligente Orchestrierungsschicht, die Informationen kontextbezogen zusammenführt, Entscheidungen vorbereitet und Mitarbeitende entlang ihrer Arbeitsprozesse unterstützt.

Damit verändert sich nicht nur die Technologie, sondern auch der digitale Arbeitsplatz. Mitarbeitende müssen künftig nicht mehr wissen, in welchem System Informationen liegen oder welcher Prozess als Nächstes angestoßen werden muss. Statt sich durch Anwendungen zu bewegen, arbeiten sie aufgabenorientiert mit ihrem Unternehmenswissen. Die Systeme bleiben. Was sich grundlegend ändert, ist der Zugang zu ihnen.

Der Wettbewerbsvorteil der Zukunft entsteht deshalb nicht allein durch leistungsfähigere KI-Modelle, sondern durch ihre intelligente Einbindung in die bestehende Unternehmenslandschaft.