Julien Montes

🛡️ Pare-feu Agentique & Sécurité
Lors de la création d'agents autonomes (AutoGPT, LangChain, boucles personnalisées), le risque majeur réside dans les boucles infinies, l'explosion des coûts et les injections de prompt. Synapse Proxy introduit un Pare-feu robuste, conçu spécifiquement pour les agents IA :

Loop Kill Switch & Auto-Correction : Détecte lorsqu'un agent dérive dans une boucle infinie (appels d'outils répétés). Il intercepte l'exécution et renvoie une réponse simulée compatible OpenAI (HTTP 200) contenant un avertissement d'auto-correction, guidant l'agent à changer de stratégie sans faire planter le processus.
Liste Blanche d'Outils (Tool Allowlist) & Empreintes : Verrouillez les capacités de votre agent. Si un agent hallucine un outil ou tente d'invoquer une fonction non autorisée, le Proxy bloque activement la requête.
Configurations Granulaires des TTL de Cache : Personnalisez la durée de vie du cache par outil (y compris un TTL de 0s pour désactiver le cache sur certains outils stateful ou sensibles).
Rédaction PII (Anonymisation) : Masquage natif basé sur des expressions régulières pour protéger les données sensibles (E-mails, Numéros de téléphone, Clés API) avant même que le prompt n'atteigne le fournisseur LLM.
Disjoncteur par Session (Circuit Breaker) : Définissez des limites strictes de tokens par session pour plafonner les dépenses sur une tâche donnée.

📊 Télémétrie Profonde & Observabilité des Intents
Chaque requête est persistée dans une base de données PostgreSQL, transformant le comportement "boîte noire" de vos agents en un flux transparent et analysable via notre impressionnant Dashboard de Contrôle Next.js.

Classification d'Intents par IA Locale : Nous ****@****/transformers (exécuté localement, 100% hors ligne) pour classifier de manière asynchrone l'intention de chaque prompt (coding, rag, chat, extraction) sans ajouter une seule milliseconde de latence sur le chemin critique du proxy.
Timeline Session Replay : Inspectez les interactions de l'agent étape par étape. Reconstruisez le flux de l'agent, les appels d'outils et la latence de chaque payload sur une frise chronologique visuelle unifiée.
Diff du System Prompt : Les agents réécrivent parfois leurs propres instructions en cours de session. Le proxy extrait et compare (diff) le prompt système, mettant en évidence ce qui a changé directement dans le dashboard.
Tracker de Fenêtre de Contexte : Un graphique dynamique comparant les Tokens du Prompt Original aux Tokens Compressés L3 au fil du temps, démontrant exactement comment le contexte grandit et comment Synapse Proxy le mitige.
Benchmark A/B : Activez le mode benchmark pour lancer des requêtes de contrôle et optimisées en parallèle, en utilisant un LLM Juge pour évaluer la similarité des réponses.
Flux Synapse Proxy

⚡ L'Optimisation des Coûts en Bonus
Bien que la sécurité et l'observabilité soient au cœur du système, Synapse Proxy intègre un moteur de cache à la pointe de la technologie conçu pour minimiser la latence et le gaspillage de tokens.

Remplacement direct d'OpenAI : Aucune modification de SDK n'est requise. Pointez simplement votre client vers http://<host>:8080/v1 avec une clé virtuelle Authorization: Bearer sk-opti-....
Quatre niveaux de cache dans un seul binaire :
L0 In-flight Dedup : Bloque et déduplique les requêtes concurrentes identiques (idéal pour le fan-out d'agents).
L1 Exact Match : Correspondance SHA-256 ultra-rapide pour les scripts qui relancent exactement la même requête.
L2 Semantic Match : Recherche vectorielle basée sur ONNX (MiniLM) pour les requêtes conceptuellement identiques. Désactivé automatiquement sur les conversations multi-tours pour éviter la corruption d'état.
L3 Compression préservant les préfixes : Élague intelligemment les anciens blocs <thought>, tronque les sorties d'outils surdimensionnées et condense l'historique. Il maintient un préfixe identique à l'octet près afin que le cache de prompt natif du fournisseur (Upstream) reste efficace à 99%.
Dédoublonnement Sémantique des Outils (Semantic Tool Dedup) : Intercepte les appels d'outils du LLM et récupère les résultats mis en cache à partir d'appels similaires, court-circuitant ainsi les boucles d'exécution côté client.