Aufwändig ist alles drumherum. Acht Schichten, die wir minimal, aber richtig bauen.
01/08Orchestrierung & Laufzeit
Agenten-Logik gehört in einen persistenten, wiederaufnehmbaren Prozess, nicht in eine Chat-Session. Für lange Abläufe mit Wartezeiten, Freigaben und Retries setzen wir auf Durable Execution.
- Claude Agent SDK
- OpenAI Agents SDK
- Google ADK
- LangGraph
- Temporal
- Inngest
02/08Integration über MCP
Tools und Daten binden wir über das Model Context Protocol an. Ein MCP-Gateway steuert zentral, welcher Agent welche Werkzeuge sehen darf, mit Authentifizierung, Rate-Limits und Audit-Log.
03/08Identität & Berechtigungen
Jeder Agent hat eine eigene Identität im Identity Provider. Er handelt im Auftrag eines Menschen mit dessen Rechten oder mit eng begrenzten eigenen Rechten. Nie über einen geteilten Superuser.
- Entra ID
- Okta
- OAuth On-Behalf-Of
- Human-in-the-Loop
04/08Sicherheit
Prompt Injection löst kein Filter zuverlässig. Wir lösen sie in der Architektur: Fähigkeiten trennen, ausgehende Verbindungen kontrollieren, Tools per Allowlist freigeben, Code in der Sandbox ausführen.
- Egress-Kontrolle
- Tool-Allowlist
- Sandbox
05/08Kontext & Wissen
Retrieval übernimmt die Berechtigungen der Quellsysteme. Ein Agent findet nur, was der jeweilige Mensch auch sehen darf. Für Zahlen nutzen wir definierte Metriken statt freiem SQL auf Rohtabellen.
- RAG mit Berechtigungen
- Semantische Schicht
- Memory
06/08Modellschicht
Ein Gateway vor den Modellen ermöglicht Multi-Model-Betrieb, Fallbacks und Kostenkontrolle pro Team. Große Modelle planen, kleine erledigen Routine. Auf Wunsch mit EU-Datenresidenz.
- LiteLLM
- Portkey
- Bedrock
- Vertex AI
- Microsoft Foundry
07/08Observability & Evals
Jeder Lauf wird vollständig getraced, mit Tool-Calls, Kontext, Kosten und Latenz. Evals mit echten Fällen laufen bei jeder Änderung als Regressionstest. Ohne Evals ist jeder Modellwechsel ein Blindflug.
- OpenTelemetry
- Langfuse
- LangSmith
- Arize
- Kosten pro Lauf
08/08Governance & Betrieb
Eine Agent-Registry zeigt, welche Agenten es gibt, wer sie verantwortet und was sie dürfen. Dazu Audit-Logs, ein Not-Aus, Risikoklassifizierung nach EU AI Act, DSGVO und bei Bedarf der Betriebsrat.
- Agent-Registry
- Audit-Log
- Not-Aus
- EU AI Act
- DSGVO