Surveillance des régressions de chatbot IA
Votre fonctionnalité IA peut casser sans la moindre erreur dans les logs — un changement de modèle, une édition du prompt, une clé cassée, une réponse tronquée. Relvato envoie le même prompt à chaque exécution et vous alerte dès que la réponse régresse.
Le même prompt à chaque exécution — la dérive devient visible
Relvato transforme la sortie imprévisible d'une IA en une vérification déterministe, sans assertions fragiles.
Fixez un prompt constant
Pointez Relvato vers votre endpoint IA — un chatbot, une réponse RAG, un agent, n'importe quel endpoint JSON — et donnez-lui une question à poser à chaque exécution. Garder le prompt constant est ce qui rend une régression visible : l'app a changé, la réponse n'aurait pas dû.
Vérifiez l'essentiel
Des règles déterministes décident du succès ou de l'échec : l'endpoint répond (2xx), la réponse n'est pas vide, contient toujours chaque phrase requise, aucune phrase interdite, et reste dans un budget de longueur et de latence.
Notez face à une réponse dorée
Vous pouvez coller une réponse « dorée » approuvée. Relvato AI évalue à quel point chaque réponse en préserve le sens (0–100), détectant la dérive de qualité que les mots-clés ratent. La note ne fait que conseiller — elle ne décide jamais du succès ou de l'échec.
Alertez et corrélez
Une régression déclenche une alerte et s'aligne sur la frise avec le déploiement, le changement de modèle ou l'édition de prompt voisins — vous savez donc où regarder d'abord, pas seulement que quelque chose a cassé.
Les façons silencieuses dont une IA régresse
Un healthcheck 200-OK n'en voit aucune. Une vérification de sortie à prompt fixe les voit toutes.
Endpoint HS ou 4xx/5xx
Une clé d'API cassée, une limite de débit, un jeton expiré ou une route déplacée — la fonctionnalité renvoie une erreur ou rien du tout.
Réponse vide ou tronquée
Le modèle renvoie du vide, une ébauche ou une réponse coupée — souvent après un changement de max-tokens ou de streaming.
Une information requise disparaît
La réponse cesse de mentionner votre délai de retour, vos horaires, vos prix ou votre politique — un changement RAG ou de prompt l'a discrètement supprimée.
Se met à dire n'importe quoi
Une phrase interdite s'immisce — « désolé, je ne peux pas aider », un concurrent halluciné, un system prompt divulgué, une boucle d'excuses.
Dérive de qualité vs la réponse dorée
La réponse passe encore les règles de mots-clés mais a dérivé en sens ou en utilité — le juge sémantique repère le glissement avant vos clients.
Lente ou dégradée
La latence dépasse votre budget ou la réponse rétrécit — un downgrade de modèle ou un incident fournisseur qu'une page de statut ne montrera pas.
Un seul endroit pour chaque type de régression
La vérification de sortie IA fait partie de la même surveillance qui veille sur vos pages, votre checkout et votre disponibilité.
Régressions de chatbot IA — FAQ
Qu'est-ce qu'une régression de chatbot IA ?
C'est quand une fonctionnalité IA qui marchait se met à donner de moins bonnes réponses — erreurs, réponses vides ou tronquées, une information perdue, une phrase interdite ou une baisse de qualité — généralement après un changement de modèle, un changement de prompt ou de RAG, une édition de config ou un problème fournisseur. Comme il n'y a aucune exception dans les logs, c'est facile à déployer sans s'en rendre compte, jusqu'à ce que les clients se plaignent.
Comment Relvato le détecte-t-il sans tests fragiles ?
Il envoie le même prompt fixe à votre endpoint à chaque exécution et compare la réponse à des règles déterministes : accessible, non vide, contient les phrases requises, exclut les interdites, et dans un budget de longueur et de latence. Ce sont ces règles — pas l'IA — qui décident du succès ou de l'échec, donc les résultats sont stables et reproductibles.
Est-ce l'IA qui décide si ma fonctionnalité a réussi ?
Non. Les assertions déterministes décident du succès/échec. Le juge sémantique facultatif (Relvato AI) note seulement à quel point la réponse reste proche de votre référence dorée approuvée et conseille sur la dérive de qualité — il ne tranche jamais le résultat.
Fonctionne-t-il avec n'importe quel backend IA ?
Oui. Pointez-le vers n'importe quel endpoint HTTP qui renvoie du texte ou du JSON — un appel OpenAI ou Anthropic derrière votre propre API, une Supabase Edge Function, un RAG ou un agent maison, le backend d'un widget de chatbot. Définissez un chemin de réponse pour extraire la réponse d'un JSON si besoin.
Cela va-t-il me coûter des tokens ?
Il appelle votre propre fonctionnalité IA, donc une exécution coûte ce que coûte cette fonctionnalité — comme un vrai utilisateur posant une question. Vous contrôlez la fréquence (selon un planning, à chaque déploiement ou sur événements de changement), et c'est opt-in par conception.
Puis-je surveiller un pipeline RAG ou un agent, pas seulement un chatbot ?
Oui. Tout ce qui prend un prompt et renvoie du texte fonctionne — un chatbot de support, un endpoint de réponse RAG, un résumeur, un classifieur, le message final d'un agent. L'approche prompt fixe plus assertions est la même quel que soit ce qu'il y a derrière l'endpoint.
Sachez à l'instant où votre réponse IA change
Ajoutez la vérification de sortie IA en quelques minutes — un prompt fixe, quelques règles et une réponse dorée facultative.