LangWatch startete als Open-Source-Tool für LLM-Observability und ist heute eine End-to-End-Plattform für AI-Plattformteams. Die Tracing-Schicht ist OpenTelemetry-nativ, sodass Agenten mit LangChain, LangGraph, CrewAI, Mastra, Pydantic AI oder dem Vercel AI SDK Spans ohne Umschreiben senden. Traces enthalten Tokens, Kosten und Cache-Daten, lassen sich als Wasserfall, Flame Graph, Topologie oder Sequenzdiagramm lesen und sind über gespeicherte Ansichten, natürliche Sprache und automatisches Themen-Clustering durchsuchbar.
Auf das Tracing setzt LangWatch Evaluation und Tests. Teams bewerten einzelne Ausgaben oder ganze Gespräche mit einem LLM-Richter, eigenem Code oder einem Workflow, führen Evaluationen aus dem Notebook oder der gemeinsamen UI aus und bewerten Live-Produktionsverkehr. Agentische Tests simulieren Text- und Sprachnutzer, die den Agenten Zug um Zug fordern, während Red-Teaming adversarische Simulationen fährt, um Jailbreaks, Richtlinienverstöße und unsichere Tool-Aufrufe vor den Nutzern zu finden.
Neuere Funktionen zielen auf den Betrieb: Ein AI-Gateway leitet Aufrufe an OpenAI, Anthropic, Google, Bedrock, Mistral und weitere über einen Endpunkt mit Budgets pro Person, Team und Kunde und minimalem Overhead. Coding-Agenten wie Claude Code und Codex kommen mit einem Befehl auf denselben Observability-Standard, und Langy verwandelt ein Ziel in Alltagssprache von Produktmanagern in einen Szenariotestplan und danach in Pull Requests. LangWatch bietet Cloud-, Self-Hosted- und Hybrid-Deployment und nennt ISO 27001, DSGVO-Konformität und EU-Datenresidenz.
