LiteLLM vs ChatGPT Plugins

LiteLLM es una plataforma innovadora que se especializa en la gestión eficaz de grandes modelos de lenguaje (LLM) para empresas y desarrolladores. Agiliza las tareas complejas asociadas con estos modelos al ofrecer equilibrio de carga, soluciones alternativas y seguimiento de gastos en más de 100 LLM diferentes, manteniendo al mismo tiempo la compatibilidad del formato estándar OpenAI.

Esto hace que la integración y el funcionamiento de varios LLM sean más eficientes, confiables y rentables, ya que proporciona funciones como agregar modelos, equilibrar la carga entre diferentes recursos informáticos, crear claves para el control de acceso y realizar un seguimiento del gasto para gestionar mejor los presupuestos. Con LiteLLM, los clientes tienen la opción de probar su servicio en la nube de forma gratuita o implementar su solución de código abierto.

La plataforma está respaldada por una comunidad sólida, como se desprende de su repositorio de GitHub, que ha obtenido 8,4 mil estrellas, más de 40 000 extracciones de Docker y más de 20 millones de solicitudes atendidas con un tiempo de actividad del 99 %. La asistencia de más de 150 contribuyentes garantiza que LiteLLM continúe evolucionando y satisfaciendo las demandas de los usuarios de diversos sectores que buscan aprovechar el poder de los LLM.

Operai sigue una filosofía de implementación iterativa, y como parte de este enfoque, está lanzando gradualmente complementos para ChatGPT. El propósito de esta versión gradual es estudiar el uso del mundo real de los complementos, evaluar su impacto e identificar cualquier desafío de seguridad y alineación que pueda surgir. Obtener estos aspectos correctos es esencial para que Operai alcance su misión.

Desde el lanzamiento de ChatGPT, los usuarios han expresado interés en tener acceso a complementos, y muchos desarrolladores están experimentando con ideas similares. Inicialmente, Operai está implementando complementos a un pequeño conjunto de usuarios y planea aumentar gradualmente el acceso a medida que aprende más. Después de un período alfa, los usuarios de API que desean integrar complementos en sus productos también tendrán acceso. Operai está entusiasmado de construir una comunidad que ayude a dar forma al futuro del paradigma de interacción Human-AI.

Los desarrolladores que han sido invitados fuera de la lista de espera pueden usar la documentación de OpenAI para crear un complemento para ChatGPT. Una vez que se crea el complemento, se enumera en el mensaje que se muestra al modelo de idioma, junto con la documentación que instruye al modelo sobre cómo usar cada uno. El primer conjunto de complementos ha sido creado por Expedia, Fiscalnote, Instacart, Kayak, Klarna, Milo, OpenTable, Shopify, Slack, Speak, Wolfram y Zapier.