KI-Agenten in deiner Software: Diese 7 Fragen solltest du vor dem Start klären
Assistants API abgeschaltet, Agent Builder folgt am 30.11.2026, AutoGen nur noch gewartet.
Dein Team oder dein Dienstleister schlägt vor, KI-Agenten in eure Software einzubauen. Im Konzept stehen Namen wie LangGraph, OpenAI Agents SDK oder Microsoft Agent Framework. Die Entscheidung dafür wirkt technisch. Ihre Folgen tauchen aber später in deinen Zahlen auf.
Ein Beispiel zeigt, warum. Im Oktober 2025 stellte OpenAI den Agent Builder vor, einen Baukasten, mit dem man KI-Agenten per Maus zusammenklickt. Anfang Juni 2026 kündigte OpenAI an, ihn zum 30. November 2026 abzuschalten. Hätte dein Kundenportal darauf aufgebaut, müsstest du jetzt einen Umzug bezahlen, den niemand eingeplant hat. Selbst mit dem Code-Export, den OpenAI anbietet, bleibt das Umbau- und Testarbeit. Und das ist kein Einzelfall: Microsoft hat AutoGen in den Wartungsmodus geschickt, OpenAI hat die Assistants API am 26. August 2026 abgeschaltet.
Du musst die Baukästen nicht selbst bewerten können. Du solltest aber wissen, was die Wahl für dein Unternehmen bedeutet und woran du eine durchdachte Entscheidung erkennst.
Was ein Agenten-Framework ist
Ein KI-Agent ist ein Programm, das mit einem Sprachmodell wie GPT (bekannt aus ChatGPT) oder Claude selbst entscheidet, was es als Nächstes tut. Er sucht zum Beispiel einen Vertrag heraus, prüft eine Frist und legt eine Aufgabe an.
Ein Framework ist der Baukasten, mit dem Entwickler solche Agenten bauen. Er liefert fertige Teile für den Zugriff auf Daten, für das Gedächtnis des Agenten, für Freigaben durch Menschen und für Protokolle. Für dich zählt vor allem, woran dich ein Baukasten bindet:
| Art von Baukasten | Beispiele | Woran er dich bindet |
|---|---|---|
| Baukästen der KI-Anbieter | OpenAI Agents SDK, Claude Agent SDK von Anthropic | vor allem an die Modelle des Anbieters: Das Claude Agent SDK läuft nur mit Claude, das OpenAI Agents SDK kann auch andere Modelle nutzen |
| Baukästen der Cloud-Anbieter | Microsoft Agent Framework, Google ADK, AWS Strands Agents | an Dienste und Werkzeuge der jeweiligen Cloud, auch wenn sie andere Modelle unterstützen |
| Unabhängige Baukästen | LangGraph, Pydantic AI, Agno, CrewAI | an die Arbeitsweise des Baukastens und oft an seine Zusatzdienste |
| Klick-Baukästen ohne Programmierung | verschiedene Plattformen, bis Ende November 2026 auch der Agent Builder | an die Oberfläche des Anbieters, ein Export ist oft nur teilweise möglich |
Keine dieser Gruppen ist grundsätzlich besser. Jede bringt eine andere Abhängigkeit mit. Entscheidend ist, ob diese Abhängigkeit zu deinem Unternehmen passt.
Sieben Fragen, die du vor dem Start stellen solltest
An den Antworten erkennst du, ob die Entscheidung durchdacht ist. Du brauchst dafür kein technisches Wissen.
| Frage | Eine gute Antwort | Ein Warnsignal |
|---|---|---|
| 1. Warum braucht diese Funktion einen Agenten? | Eine konkrete Begründung, etwa wechselnde Wege zum Ergebnis | „Das macht man heute so.“ |
| 2. Was passiert, wenn Baukasten oder KI-Anbieter wechseln müssen? | Ein Plan, der den Umzug auf einen kleinen Teil der Software begrenzt | Keine Antwort |
| 3. Was kostet ein typischer Vorgang? | Eine Rechnung mit Annahmen und einer Obergrenze | „Das sehen wir im Betrieb.“ |
| 4. Wo werden die Daten verarbeitet? | Ein benannter Standort und ein Vertrag zur Auftragsverarbeitung | „Irgendwo in der Cloud.“ |
| 5. Wie werden Daten zwischen Kunden oder Abteilungen getrennt? | In der Software selbst, mit Prüfung bei jedem Zugriff | „Das Framework kümmert sich darum.“ |
| 6. Wem gehören Code, Anweisungen an die KI und Testfälle? | Dir, vollständig und exportierbar | Sie liegen nur beim Dienstleister oder in der Oberfläche eines Anbieters |
| 7. Wie wird Qualität dauerhaft gemessen? | Mit einer festen Sammlung echter Fälle, geprüft bei jeder Änderung | „Wir testen das von Hand.“ |
Warum diese sieben Fragen zählen:
1. Der Agent selbst. Viele KI-Funktionen folgen einem festen Ablauf: Daten holen, Modell fragen, Ergebnis prüfen, anzeigen. Dafür reicht oft wenig eigener Code, ganz ohne Framework. Wie du das einordnest, zeigt der nächste Abschnitt.
2. Abhängigkeit. Läuft ein Baukasten nur mit den Modellen eines Anbieters, bestimmt dieser Anbieter deine Preise und deinen Zeitplan. Stellt er ein Produkt ein, zahlst du den Umzug.
3. Laufende Kosten. KI-Modelle rechnen nach Tokens ab, also nach Wortstücken, die das Modell liest und schreibt. Agenten, die sich gegenseitig Aufgaben zuspielen, verbrauchen schnell ein Vielfaches. Bei Anthropic brauchten Systeme aus mehreren Agenten rund 15-mal so viele Tokens wie ein normaler Chat. Rechne deshalb vorher, was ein Vorgang kostet und was bei zehnfacher Nutzung passiert.
4. Datenschutz. Jede Anfrage an ein gehostetes KI-Modell schickt Daten an einen Anbieter. Kläre, wo die Daten verarbeitet werden, ob es einen Vertrag zur Auftragsverarbeitung nach Art. 28 DSGVO gibt und ob der Anbieter die Daten zum Training nutzt. Die großen Cloud-Anbieter bieten KI-Modelle auch mit Verarbeitung innerhalb der EU an, etwa Microsoft und AWS. Ob das für deinen Fall reicht, klärst du mit deinem Datenschutzbeauftragten.
5. Trennung der Daten. Nutzen mehrere Kunden oder Abteilungen dieselbe Software, darf ein Agent die Daten und Werkzeuge des einen nie für den anderen verwenden. Die meisten Frameworks nehmen dir diese Trennung nicht automatisch ab. Sie muss deshalb bewusst in der Software gezogen und bei jedem Zugriff geprüft werden.
Beispiel: Mit einem Sammelzugang sieht Kunde A plötzlich die Rechnungen anderer Kunden.
6. Eigentum. Der Baukasten lässt sich tauschen. Die Anweisungen an die KI, die Beschreibungen der Werkzeuge und die Testfälle bilden deine Abläufe ab. Sie sind der eigentliche Wert und gehören in deinen Code, nicht nur beim Anbieter.
7. Qualität. Der Framework-Anbieter LangChain hat Ende 2025 in einer öffentlichen Online-Umfrage rund 1.340 Fachleute befragt. 57 Prozent haben Agenten bereits im Produktivbetrieb, die größte Hürde ist die Qualität. Aber nur gut die Hälfte prüft Agenten vorab mit festen Testsätzen. Frag also nicht nur, ob es funktioniert, sondern wie geprüft wird, dass es weiter funktioniert.
Dazu kommt der EU AI Act. Bringst du eine KI-Funktion unter eigenem Namen auf den Markt oder in Betrieb, bist du nach dem EU AI Act Anbieter. Nutzt du ein KI-System beruflich in eigener Verantwortung, bist du Betreiber. Für viele Geschäftsanwendungen gilt vor allem die Pflicht zur KI-Kompetenz der Mitarbeitenden. Spricht ein Agent direkt mit Menschen, kommen Transparenzpflichten dazu. Bei Hochrisiko-Anwendungen, etwa bei der Auswahl von Bewerbern, sind Protokolle, menschliche Aufsicht und technische Dokumentation Pflicht, nach dem EU-Omnibus-Paket ab dem 2. Dezember 2027. Dieser Überblick ersetzt keine Rechtsberatung.
Braucht deine Funktion überhaupt einen Agenten?
Anthropic, der Hersteller von Claude, rät in seinem Leitfaden „Building Effective Agents“ dazu, einfach anzufangen und nur dann mehr Technik einzubauen, wenn es nötig ist. Frameworks verbergen nach Anthropics Einschätzung oft, was im Hintergrund passiert. Das erschwert die Fehlersuche.
| Stufe | Was gebaut wird | Sinnvoll, wenn … |
|---|---|---|
| 1. Einzelne Anfrage | eine Anfrage an ein KI-Modell | die Aufgabe klar ist, etwa zusammenfassen oder einordnen |
| 2. Fester Ablauf | mehrere Schritte im eigenen Code | die Reihenfolge immer gleich ist |
| 3. Einfacher Agent | ein Agent wählt seine Werkzeuge selbst | der Weg von Fall zu Fall anders ist |
| 4. Agent mit Freigaben | Abläufe mit Zwischenständen und Zustimmung durch Menschen | Vorgänge lange dauern oder heikel sind |
| 5. Plattform eines Cloud-Anbieters | Agenten laufen beim Anbieter | Betrieb und Skalierung ausgelagert werden sollen |
Je höher die Stufe, desto mehr nimmt dir die Technik ab. Und desto stärker bindest du dich daran.
Schema der fünf Ausbaustufen: Je mehr der Baukasten liefert, desto enger die Bindung.
Schlägt dir jemand gleich Stufe 4 oder 5 vor, frag, warum Stufe 2 nicht reicht.
Was du dir zusichern lassen solltest
Lass dir in Angebot, Vertrag und Abnahme vier Dinge zusichern:
- Eine eigene Zwischenschicht. Deine Software spricht nicht direkt mit dem Baukasten, sondern über eine eigene Schnittstelle. Ein Wechsel betrifft dann nur diese Stelle.
- Alles Wesentliche in deinem Code. Die Anweisungen an die KI, die Beschreibungen der Werkzeuge und die Testfälle liegen in deinem Code, nicht nur beim Anbieter.
- Offene Standards. Für die Anbindung von Daten und Werkzeugen gibt es das Model Context Protocol (MCP), für die Aufzeichnung, was ein Agent tut, den Standard OpenTelemetry. Beide machen dich unabhängiger vom Baukasten.
- Eine feste Sammlung von Testfällen. Als Faustregel: 50 bis 200 echte Fälle mit bekannter richtiger Antwort. Damit lässt sich jeder Wechsel von Modell oder Baukasten in Stunden statt Wochen prüfen.
Schema: Anweisungen, Werkzeuge und Testfälle gehören dir. Baukasten und Modell wechseln.
Wohin sich der Markt bewegt
Ein einziges Sieger-Framework ist nicht in Sicht. Stattdessen setzen sich offene Standards durch. Im Dezember 2025 hat die Linux Foundation die Agentic AI Foundation gegründet. Dort liegen unter anderem das Model Context Protocol und AGENTS.md unter neutraler Verwaltung. Mitglieder sind unter anderem AWS, Anthropic, Google, Microsoft und OpenAI.
Gleichzeitig bauen Microsoft, AWS und Google Plattformen, auf denen fremde Baukästen laufen. Amazon Bedrock AgentCore betreibt zum Beispiel Agenten aus LangGraph, CrewAI oder dem OpenAI Agents SDK, ähnlich wie Microsoft Foundry. Die Abhängigkeit verlagert sich damit eher vom Baukasten zur Cloud.
Und eine Warnung: Das Marktforschungsunternehmen Gartner erwartet, dass mehr als 40 Prozent der Projekte mit KI-Agenten bis Ende 2027 eingestellt werden. Als Gründe nennt Gartner steigende Kosten, unklaren Geschäftsnutzen und unzureichende Risikokontrollen. Die sieben Fragen oben machen diese Risiken früh sichtbar.
Fazit
Die Wahl des Frameworks ist eine Technikentscheidung mit geschäftlichen Folgen. Du musst sie nicht selbst treffen. Du solltest aber wissen, woran der Baukasten dich bindet, was ein Vorgang kostet, wo deine Daten verarbeitet werden und was dir am Ende gehört. Mit diesen Antworten wird ein späterer Wechsel planbar.
Muss ich als Geschäftsführer das Framework selbst auswählen?
Nein. Du solltest aber die Folgen kennen und die sieben Fragen stellen: nach Abhängigkeit, Kosten, Datenverarbeitung, Datentrennung, Eigentum und Qualität.
Welche Daten verlassen bei KI-Agenten mein Unternehmen?
Alles, was der Agent an ein KI-Modell schickt, also die Anfrage und die Daten, die er dafür abruft. Dazu kommt alles, was er über angebundene Werkzeuge an andere Dienste schickt. Wo sie verarbeitet werden, regeln Standort und Vertrag mit dem Anbieter.
Was kostet ein KI-Agent im Monat?
Das hängt von der Zahl der Vorgänge und vom Aufbau ab. Lass dir eine Rechnung pro Vorgang mit Annahmen und Obergrenze geben, bevor du startest.
Brauche ich für KI-Agenten eine eigene Entwicklungsabteilung?
Nicht unbedingt. Du brauchst aber Zugriff auf Code, Anweisungen und Testfälle, damit du nicht dauerhaft an einen einzelnen Dienstleister gebunden bist.
Sind Klick-Baukästen für KI-Agenten eine gute Idee?
Für schnelle Versuche ja. Für dauerhafte Funktionen nur, wenn sich Abläufe, Anweisungen und Daten vollständig exportieren lassen.
Welches Framework setzt sich durch?
Voraussichtlich keines allein. Häufig genannt werden unter anderem LangGraph sowie die Baukästen von OpenAI, Microsoft, Google und AWS. Wichtiger als der Name ist, dass ein Wechsel möglich bleibt.