Respan (formerly Keywords AI) vs Terracotta

Respan est une plateforme d'ingénierie LLM conçue pour les équipes déployant des agents et des applications AI en production. Acheminez le trafic du modèle par un seul point d'entrée, tracez chaque appel en détail, exécutez des évaluations sur des jeux de données hors ligne et en trafic réel, et surveillez les coûts, la latence et les erreurs depuis un tableau de bord unique.

Le produit est issu de Keywords AI, une entreprise du Y Combinator Winter 2024 fondée par des ingénieurs de l'Université de l'Illinois. Ce qui a commencé comme une simple gestion du routage LLM s'est étendu à une observabilité complète après que les clients ont demandé une visibilité sur le comportement des agents en production. Respan se positionne maintenant autour de la boucle allant de la traçabilité, à l'évaluation, à l'itération.

Il s'adresse aux ingénieurs ML, aux équipes de plateforme et aux créateurs de produits AI qui ont besoin de basculement de passerelle, de tests de versions de prompts, de scoring de qualité en production et de contrôles des dépenses sans devoir assembler plusieurs outils séparés. Parmi les clients mentionnés sur le site figurent des équipes de Retell AI, Mem0, Lovable et Gumloop.

Terracotta est une plate-forme de pointe conçue pour améliorer le flux de travail des développeurs et des chercheurs travaillant avec de grands modèles de langage (LLM). Cette plate-forme intuitive et conviviale vous permet de gérer, d'itérer et d'évaluer facilement vos modèles affinés. Avec Terracotta, vous pouvez télécharger des données en toute sécurité, affiner les modèles pour diverses tâches telles que la classification et la génération de texte, et créer des évaluations complètes pour comparer les performances des modèles à l'aide de mesures qualitatives et quantitatives. Notre outil prend en charge les connexions aux principaux fournisseurs comme OpenAI et Cohere, vous garantissant ainsi l'accès à un large éventail de fonctionnalités LLM. Terracotta est la création de Beri Kohen et Lucas Pauker, passionnés d'IA et diplômés de Stanford, qui se consacrent à l'avancement du développement du LLM. Rejoignez notre liste de diffusion pour rester informé des dernières mises à jour et fonctionnalités que Terracotta a à offrir.