LiteLLM vs ChatGPT Plugins

LiteLLM é uma plataforma inovadora especializada no gerenciamento eficaz de grandes modelos de linguagem (LLMs) para empresas e desenvolvedores. Ele agiliza as tarefas complexas associadas a esses modelos, oferecendo balanceamento de carga, soluções alternativas e rastreamento de despesas em mais de 100 LLMs diferentes, mantendo a compatibilidade do formato OpenAI padrão.

Isso torna a integração e operação de vários LLMs mais eficiente, confiável e econômica, pois fornece recursos como adição de modelos, equilíbrio de carga entre diferentes recursos de computação, criação de chaves para controle de acesso e rastreamento de gastos para gerenciar melhor os orçamentos. Com o LiteLLM, os clientes têm a opção de experimentar seu serviço em nuvem gratuitamente ou implantar sua solução de código aberto.

A plataforma é apoiada por uma comunidade robusta, evidente em seu repositório GitHub que obteve 8,4 mil estrelas, mais de 40.000 pulls de Docker e mais de 20 milhões de solicitações atendidas com um tempo de atividade de 99%. A assistência de mais de 150 colaboradores garante que o LiteLLM continue a evoluir e a atender às demandas dos usuários em vários setores que buscam aproveitar o poder dos LLMs.

O Openai segue uma filosofia de implantação iterativa e, como parte dessa abordagem, está gradualmente lançando plugins para chatgpt. O objetivo desta liberação gradual é estudar o uso do mundo real dos plugins, avaliar seu impacto e identificar quaisquer desafios de segurança e alinhamento que possam surgir. Acreditar esses aspectos é essencial para o OpenAI alcançar sua missão.

Desde o lançamento do ChatGPT, os usuários manifestaram interesse em ter acesso a plugins, e muitos desenvolvedores estão experimentando idéias semelhantes. O OpenAI está lançando inicialmente os plugins para um pequeno conjunto de usuários e planeja aumentar gradualmente o acesso à medida que aprende mais. Após um período alfa, os usuários da API que desejam integrar plugins em seus produtos também terão acesso. O Openai está animado para construir uma comunidade que ajudará a moldar o futuro do paradigma de interação humano-AI.

Os desenvolvedores que foram convidados para fora da lista de espera podem usar a documentação do OpenAI para criar um plug -in para o ChatGPT. Depois que o plug -in é criado, ele está listado no prompt mostrado ao modelo de idioma, juntamente com a documentação que instrui o modelo sobre como usar cada um. O primeiro conjunto de plugins foi criado pela Expedia, Fiscalnote, Instacart, Kayak, Klarna, Milo, Openable, Shopify, Slack, Speak, Wolfram e Zapier.