Respan (formerly Keywords AI)

Respan (formerly Keywords AI)

Respan est une plateforme d'ingénierie LLM conçue pour les équipes déployant des agents et des applications AI en production. Acheminez le trafic du modèle par un seul point d'entrée, tracez chaque appel en détail, exécutez des évaluations sur des jeux de données hors ligne et en trafic réel, et surveillez les coûts, la latence et les erreurs depuis un tableau de bord unique.

Le produit est issu de Keywords AI, une entreprise du Y Combinator Winter 2024 fondée par des ingénieurs de l'Université de l'Illinois. Ce qui a commencé comme une simple gestion du routage LLM s'est étendu à une observabilité complète après que les clients ont demandé une visibilité sur le comportement des agents en production. Respan se positionne maintenant autour de la boucle allant de la traçabilité, à l'évaluation, à l'itération.

Il s'adresse aux ingénieurs ML, aux équipes de plateforme et aux créateurs de produits AI qui ont besoin de basculement de passerelle, de tests de versions de prompts, de scoring de qualité en production et de contrôles des dépenses sans devoir assembler plusieurs outils séparés. Parmi les clients mentionnés sur le site figurent des équipes de Retell AI, Mem0, Lovable et Gumloop.

Fonctionnalités principales:
  1. Un point de terminaison atteint plus de 1 000 modèles ; changez de fournisseur en modifiant un seul nom de modèle

  2. Les basculements automatiques passent au modèle suivant en cas d'erreur ou de limitation de débit

  3. La mise en cache des réponses sert instantanément les invites répétées et réduit les coûts sur les doublons

  4. Budgets et limites de débit par clé API, client ou organisation avec seuils d’avertissement et de blocage

  5. Les arbres de traçage capturent chaque appel LLM, exécution d’outil, récupération et tour d’agent avec coût et latence

  6. Les évaluateurs combinent juges LLM, vérifications de code et revue humaine en un score pondéré unique

  7. Les alertes atteignent Slack, email ou webhooks lorsque les coûts, erreurs, latence ou jetons dépassent les limites

Pros:
  1. Le niveau gratuit inclut la plateforme complète avec 100 000 logs et aucun besoin de carte de crédit.

  2. Point de terminaison unique pour plus de 500 modèles avec basculement, mise en cache et limites de dépenses intégrées.

  3. Les évaluations liées aux traces vous permettent de comparer les versions de prompt et de scorer le trafic en production en temps réel.

  4. Conformité SOC 2, RGPD et HIPAA avec BAA disponible pour les équipes de santé.

Cons:
  1. Le plan Équipe commence à 199 $ par mois facturé annuellement.

  2. La version gratuite limite les journaux à 100 000 avec une rétention de 7 jours.

  3. La conformité HIPAA pour le plan Équipe nécessite un module complémentaire à 249 $ par mois.

  4. Le SSO SAML et le déploiement auto-hébergé sont réservés à l'offre Entreprise.

FAQ:

Respan propose-t-il un plan gratuit ?

Oui. Respan propose un plan Gratuit à 0 $ sans carte bancaire requise. Il inclut la plateforme complète, 100k logs, 1k scores, 5 jeux de données, 2 évaluateurs et 5 prompts. Inscrivez-vous sur platform.respan.ai.

Quelle est la différence entre Respan et Keywords AI ?

Respan est la marque actuelle de la même entreprise, anciennement connue sous le nom de Keywords AI. Le produit s'est développé du routage LLM à une plateforme complète d'ingénierie LLM couvrant le routage passerelle, le traçage, les évaluations, la gestion des prompts et la surveillance.

Comment fonctionne la passerelle AI de Respan ?

Respan route les appels de style OpenAI via https://api.respan.ai/api/ vers plus de 500 modèles, ou prend en charge les endpoints de passage des fournisseurs. Vous pouvez définir des fallback_models, activer la mise en cache des réponses, et attacher un customer_identifier ainsi que des métadonnées à chaque requête. Chaque appel à la passerelle est automatiquement journalisé.

Respan peut-il scorer automatiquement le trafic LLM en production ?

Oui. Respan exécute des évaluateurs sur des spans échantillonnés en production afin que les régressions de qualité apparaissent dans le trafic en direct, pas seulement lors des tests hors ligne. Vous pouvez échantillonner par pourcentage, filtrer par fonctionnalité ou client, et configurer des automatisations qui alertent en cas de baisse des scores.

Quelles intégrations Respan supporte-t-il ?

Respan s'intègre avec le SDK OpenAI, le SDK Vercel AI, LangChain, LlamaIndex, LiteLLM, Mastra, Mem0, ainsi qu'avec de nombreux fournisseurs de modèles tels que OpenAI, Anthropic, Groq, AWS Bedrock et Google Gemini. Des SDK Python et JavaScript/TypeScript sont disponibles.

Respan est-il conforme à la HIPAA ?

Respan est conforme à la HIPAA et propose un BAA pour les équipes de santé. Sur le plan Équipe, la conformité HIPAA est disponible en option à 249 $ par mois. Les plans Entreprise incluent des forfaits personnalisés et un support dédié.

Combien coûte le plan Équipe de Respan ?

Le plan Équipe de Respan coûte 199 $ par mois lorsqu'il est facturé annuellement, marqué comme le niveau populaire pour les startups et les équipes en croissance. Il inclut un nombre illimité de jeux de données, d'évaluateurs et de prompts, un canal Slack privé et l'accès au rapport SOC 2.

Tarification:

Freemium

Tags:

DevOps
AI Applications
Large Language Models
Software Development
Application Deployment
AI Monitoring
LLM observability
AI gateway
prompt management
LLM evals
agent infrastructure

Technologie utilisée:

React
Next.js
Chakra UI
WordPress
Amazon CloudFront
Google Analytics
Google Tag Manager
Python
Ruby
Twilio
Zapier
GitHub
Emotion
Tailwind CSS

Commentaires:

Give your opinion on Respan (formerly Keywords AI) :-

Overall rating

Join thousands of AI enthusiasts in the World of AI!

Meilleur Gratuit Respan (formerly Keywords AI) Alternatives (et Payées)

By Rishit