Patronus AI
Patronus AI é um laboratório de pesquisa e uma empresa de produtos focada em avaliar, monitorar e simular sistemas de IA para que equipes possam implementar aplicações e agentes LLM com mais confiança. Sua plataforma central cobre experimentos, registros, comparações e rastreamentos, enquanto programas de pesquisa como Digital World Models visam simular fluxos de trabalho digitais realistas para treinamento de agentes de longo prazo.
A empresa publicou trabalhos de avaliação amplamente utilizados, incluindo Lynx para detecção de alucinações, Glider como um julgador de modelos linguísticos pequenos, e benchmarks como o FinanceBench. Percival, seu copiloto de avaliação, analisa rastros de agentes para identificar modos de falha e sugerir otimizações em erros de raciocínio e planejamento.
Patronus AI foi desenvolvido para engenheiros de ML, equipes de plataforma e pesquisadores que precisam de testes estruturados antes e depois da produção. Os casos de uso variam desde verificações de qualidade RAG, fiscalização de agentes, testes de conjuntos de dados adversariais e monitoramento contínuo de produtos LLM ao vivo.
Lynx supera o GPT-4 em benchmarks publicados de detecção de alucinações
Percival copilot sinaliza mais de 20 modos de falha em rastreamentos de agentes
Glider 3B judge avalia rubricas personalizadas com destaque de trechos
Execute experimentos, logs, rastreamentos e comparações lado a lado em um só lugar
Conjuntos de dados adversariais prontos, como FinanceBench e EnterprisePII
Detecta 15 modos de erro de agentes com resumos de rastreamentos gerados automaticamente
Modelos Digitais do Mundo simulam fluxos de trabalho de software realistas para treinamento
O nível Developer começa grátis com $10 em créditos de API e não requer cartão de crédito.
Publica seus próprios modelos de avaliação e benchmarks, incluindo Lynx, Glider e FinanceBench.
Abrange todo o ciclo de vida da avaliação, desde experimentos offline até logs e rastreamentos de produção.
O nível Developer limita Experimentos, Logs e Traces às últimas duas semanas.
A precificação Enterprise e as opções avançadas de segurança exigem o agendamento de uma chamada de vendas.
O escopo do produto abrange várias ofertas, o que pode levar tempo para mapear ao seu fluxo de trabalho.
O Patronus AI oferece um plano gratuito?
Sim. O Patronus AI oferece um nível Developer que você pode começar em app.patronus.ai sem necessidade de cartão de crédito. Inclui $10 em créditos gratuitos para a API do avaliador, dois projetos e acesso a Experimentos, Registros e Rastreamentos das últimas duas semanas.
O que é o Percival do Patronus AI?
O Percival é o copiloto de avaliação do Patronus AI para sistemas agentes. Ele analisa rastreamentos de agentes, detecta mais de 20 modos de falha e sugere otimizações para erros de raciocínio e planejamento. Um assistente de chat também está disponível para interagir com o Percival dentro da plataforma.
O que é o Lynx no Patronus AI?
O Lynx é o modelo de detecção de alucinações do Patronus AI para sistemas RAG. A empresa relata que o Lynx (70B) alcançou a maior precisão em tarefas publicadas de detecção de alucinações, superando modelos como o GPT-4. O Lynx está disponível nas versões 8B e 70B.
Quais conjuntos de dados o Patronus AI oferece?
O Patronus AI mantém conjuntos de testes adversariais prontos para uso em casos específicos, incluindo FinanceBench com 10.000 pares de perguntas e respostas financeiras, SimpleSafetyTests para riscos de segurança em LLMs, e EnterprisePII para detectar informações sensíveis empresariais em textos corporativos.
Como funciona a precificação da API do Patronus AI?
O Patronus AI cobra taxas baseadas no uso da API no nível Developer: $10 por 1.000 chamadas pequenas do avaliador, $20 por 1.000 chamadas grandes do avaliador e $10 por 1.000 explicações de avaliação. Novas contas Developer começam com $10 em créditos gratuitos.
O Patronus AI oferece opções de implantação para empresas?
Sim. O plano Enterprise do Patronus AI inclui acesso ilimitado à plataforma, implantação on-premises ou em VPC dedicada, retenção personalizada de dados, SSO, limites maiores de taxa na API, descontos por volume e ajuste fino personalizado de modelos de avaliação. A precificação requer agendamento de uma chamada com o time de vendas.

