Gute KI-Antworten brauchen den richtigen Kontext
Kaum eine Fähigkeit wurde in den vergangenen Jahren rund um generative KI so intensiv diskutiert wie das Prompten. Es gibt Kurse, Cheat-Sheets und Sammlungen bewährter Formulierungen. Und ja, gute Prompts helfen – auch wir haben an dieser Stelle bereits Tipps dazu gegeben.
Im Unternehmenseinsatz zeigt sich jedoch immer wieder dasselbe Muster: Ob ein KI-Assistent brauchbare Antworten liefert, hängt selten allein von der Eleganz der Frage ab. Mindestens genauso entscheidend ist, welche Informationen dem Modell für die konkrete Aufgabe zur Verfügung stehen.
Für diesen Perspektivwechsel hat sich seit 2025 der Begriff Context Engineering etabliert – angestoßen unter anderem von Shopify-Chef Tobi Lütke und Andrej Karpathy, der ihn als die Kunst und Wissenschaft beschrieb, das Kontextfenster für jeden Schritt mit genau den richtigen Informationen zu füllen. [1] Gemeint ist die systematische Gestaltung der Informationen, Anweisungen, Werkzeuge und Zwischenergebnisse, die ein Modell für den jeweils nächsten Schritt benötigt.
Das Kontextfenster: der Arbeitsspeicher des Modells
Für eine konkrete Anfrage kann ein Sprachmodell auf sein Trainingswissen und auf die Informationen zurückgreifen, die ihm im aktuellen Kontext bereitgestellt werden. Dazu gehören beispielsweise Systemvorgaben, die eigentliche Frage, abgerufene Dokumente, der bisherige Gesprächsverlauf und, je nach Anwendung, Beschreibungen verfügbarer Werkzeuge sowie deren Ergebnisse.
Man kann sich dieses Kontextfenster vereinfacht als Arbeitsspeicher vorstellen. Es ist begrenzt und wird für die jeweilige Interaktion mit relevanten Informationen gefüllt. Unternehmensspezifisches Wissen, das weder im Trainingswissen enthalten noch über den aktuellen Kontext verfügbar ist, kann das Modell nicht einfach kennen.
Damit wird auch der Unterschied zum Prompt Engineering greifbar: Der Prompt ist ein Bestandteil dieses Kontextes. Context Engineering betrachtet dagegen das gesamte Informationsumfeld: Was kommt hinein? In welcher Form? Zu welchem Zeitpunkt? In welcher Reihenfolge? Und ebenso wichtig: Was bleibt bewusst draußen? [2]
Warum „einfach alles mitgeben“ nicht funktioniert
Viele aktuelle Modelle können sehr große Kontextmengen verarbeiten, teilweise Hunderttausende Token oder mehr. Daraus folgt jedoch nicht, dass jede zusätzliche Information automatisch die Qualität verbessert.
Modelle nutzen lange Kontexte nicht immer gleich zuverlässig. Ein bekanntes Beispiel ist der sogenannte Lost-in-the-Middle-Effekt: Relevante Informationen werden schlechter berücksichtigt, wenn sie zwischen vielen anderen Inhalten eingebettet sind. [3] Und eine Untersuchung von Chroma an 18 aktuellen Modellen zeigt, dass die Zuverlässigkeit mit zunehmender Kontextmenge generell sinken kann – selbst wenn die theoretische Größe des Kontextfensters noch lange nicht ausgeschöpft ist. [4]
Dazu kommen ganz praktische Probleme: Irrelevante Informationen lenken ab. Widersprüchliche Informationen erschweren Entscheidungen. Veraltete Informationen führen zu falschen Ergebnissen. Und jedes zusätzliche Token erhöht Rechenaufwand, Latenz und gegebenenfalls Kosten.
Ein großes Kontextfenster ist deshalb kein Ersatz für gute Kontextauswahl. Kurz gesagt: Kuratieren schlägt Kippen.
Die Werkzeuge des Context Engineering
In der Praxis lassen sich vier zentrale Hebel unterscheiden.
Erstens: Auswahl. Retrieval-Verfahren wie RAG sorgen dafür, dass nicht komplette Wissensbestände in den Kontext geladen werden, sondern möglichst genau die Informationen, die für die aktuelle Aufgabe relevant sind. Entscheidend sind dabei nicht nur die Dokumente selbst, sondern auch ihre Aufteilung, Metadaten, Suchlogik und gegebenenfalls eine nachgelagerte Bewertung der Treffer.
Zweitens: Struktur und Vorgaben. Gut strukturierte und eindeutig formulierte Informationen sind für Modelle leichter nutzbar als unstrukturierte Textmengen. Auch Systemvorgaben brauchen die richtige Flughöhe: präzise genug, um das gewünschte Verhalten zu steuern, aber flexibel genug, um nicht in immer längeren Wenn-dann-Katalogen zu enden. Definierte Begriffe, klare Verantwortlichkeiten und kuratierte Konzeptseiten, wie wir sie im Zusammenhang mit dem Open Knowledge Format beschrieben haben, zahlen unmittelbar darauf ein.
Drittens: Werkzeuge statt vorab geladenem Wissen. Ein Agent muss nicht jede möglicherweise relevante Information von Anfang an im Kontext haben. Stattdessen kann er über definierte Werkzeuge und Schnittstellen gezielt auf Daten, Systeme oder Funktionen zugreifen, sobald sie für einen Arbeitsschritt benötigt werden. Standards wie das Model Context Protocol helfen dabei, solche Werkzeuge einheitlich verfügbar zu machen.
Viertens: Gedächtnis und Verdichtung. Bei längeren Aufgaben ist es weder sinnvoll noch nötig, jeden Zwischenschritt dauerhaft im aktiven Kontext zu behalten. Gesprächsverläufe können verdichtet, Entscheidungen dokumentiert und relevante Zwischenstände gezielt wieder eingebracht werden. So bleibt Platz für die Informationen, die für den aktuellen Schritt tatsächlich wichtig sind. [2]
Prompt Engineering ist nicht falsch – aber es reicht nicht
Gute Prompts bleiben wichtig. Die Perspektive verändert sich jedoch: Statt nur zu fragen „Wie formuliere ich meine Frage besser?“, lautet die wichtigere Frage: „Welche Informationen braucht das Modell für diesen Schritt – und wie bekommt es sie zuverlässig?“
Damit wird Context Engineering zur Systemaufgabe. Es betrifft nicht nur die Formulierung einzelner Anweisungen, sondern auch Datenqualität, Wissensorganisation, Berechtigungen, Retrieval, Tooling und Governance. Denn selbst die beste Kontext-Pipeline hilft wenig, wenn zentrale Begriffe im Unternehmen unterschiedlich definiert sind, Dokumente veraltet sind oder mehrere Systeme widersprüchliche Informationen liefern. Die Kontext-Infrastruktur, von der wir im Zusammenhang mit dem Open Knowledge Format gesprochen haben, lässt sich deshalb auch als Context Engineering auf Unternehmensebene verstehen.
Oder ganz kurz: Der Prompt stellt die Frage. Der Kontext entscheidet über die Antwort.
Worauf es beim Einstieg ankommt
Context Engineering beginnt mit Transparenz. Wenn ein KI-Assistent enttäuschende Ergebnisse liefert, sollte nicht automatisch das nächstgrößere Modell die erste Lösung sein. Die erste Frage lautet: Was hatte das Modell für diese Antwort tatsächlich zur Verfügung – und was hat gefehlt? Dafür braucht es eine nachvollziehbare Protokollierung der relevanten Kontextbestandteile, selbstverständlich unter Berücksichtigung von Datenschutz und Informationssicherheit.
Im nächsten Schritt lohnt sich eine Inventur je Anwendungsfall: Welche Quellen liefern den benötigten Kontext? Wie aktuell sind sie? Gibt es widersprüchliche Informationen? Welche Inhalte sollten dauerhaft gepflegt und welche nur dynamisch abgerufen werden?
Und schließlich gilt: messen statt vermuten. Bereits ein überschaubares Set repräsentativer Testfragen mit erwarteten Ergebnissen zeigt, ob eine Änderung am Retrieval, an den bereitgestellten Informationen oder an der Struktur tatsächlich zu besseren Antworten führt.
Context Engineering bedeutet damit nicht, möglichst viel Wissen an ein Modell zu übergeben. Es bedeutet, die richtigen Informationen im richtigen Moment in der richtigen Form verfügbar zu machen.
Du möchtest verstehen, warum Dein KI-Assistent nicht die erhofften Antworten liefert – oder wie sich Retrieval, Wissensbasis und Werkzeuge zu einer belastbaren Kontext-Architektur verbinden lassen? Sprich uns gerne an, Du erreichst mich unter alessandro.cibin@evaco.de. Wir unterstützen bei der Analyse bestehender Anwendungen, der Konzeption einer passenden Kontext-Pipeline und der technischen Umsetzung – lokal, in der Cloud oder hybrid.
Quellen
[1] Andrej Karpathy auf X (in Anknüpfung an Tobi Lütke), Juni 2025 – https://x.com/karpathy/status/1937902205765607626
[2] Anthropic: „Effective Context Engineering for AI Agents“, September 2025 – https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents
[3] Nelson F. Liu et al.: „Lost in the Middle: How Language Models Use Long Contexts“, TACL 2024 – https://arxiv.org/abs/2307.03172
[4] Chroma: „Context Rot: How Increasing Input Tokens Impacts LLM Performance“, Juli 2025 – https://research.trychroma.com/context-rot