Eind-tot-eind observability: trace-ID's, token/kostenaccounting, dashboards en waarschuwingen per organisatie om gebruik, kostenpieken en ROI van AI-functies te begrijpen.
Analytics is hoe je begrijpt wat je AI-agent daadwerkelijk doet, hoeveel het kost en of het waarde levert. Deze functie dekt de volledige observabiliteitsstack: het volgen van elk gesprek en elke AI-aanroep van begin tot eind, het berekenen van de kosten van elke aanvraag, het samenvoegen van het gebruik per klant en het presenteren van dit alles in dashboards waarop je team kan inspelen. Het is de basis voor productbeslissingen, kostenbeheer en klantfacturering.
Het runnen van een AI-product is fundamenteel anders dan het runnen van een traditioneel softwareproduct — AI-aanroepen kosten geld per aanvraag. Zonder gedetailleerde gebruiksanalyses kun je geen basis maar cruciale vragen beantwoorden: Welke klanten gebruiken de meeste middelen? Is een bepaalde agentconfiguratie duurder dan verwacht? Groeit de totale kost sneller dan de omzet?
Elk gesprek creëert een keten van gebeurtenissen die het analytics-systeem volgt:
De trace ID is een draad die elk stuk gegevens over een enkel gesprek verbindt. Als een klant vraagt "waarom kwam deze reactie verkeerd uit?" kan jouw team de trace ID vinden en het volledige plaatje zien: wat er uit de kennisbank werd opgehaald, wat naar de AI werd gestuurd, wat de AI terugstuurde en welke nabewerking plaatsvond. Dit maakt het mogelijk om een specifieke slechte reactie in minuten, niet uren, te debuggen.
Voor jouw team:
Per-organisatieweergave (voor klanten):
De prijzen van AI-providers veranderen periodiek. Het systeem onderhoudt een prijskaart dat kan worden bijgewerkt wanneer providers hun tarieven aanpassen, zodat de kostenberekeningen nauwkeurig blijven. Als een bepaalde aanvraag niet aan een kost kan worden gekoppeld (bijvoorbeeld door een anomalie in de rapportage van een provider), wordt deze gemarkeerd als "in afwachting" en opnieuw berekend zodra de gegevens beschikbaar zijn — je verliest nooit stilletjes kostgegevens.
Het team is bezig met:
Zodra het live is, heb je de zichtbaarheid om precies te begrijpen wat jouw AI-platform kost, wie die kosten aandrijft en of je de opbrengst krijgt die je verwacht.