ggml.ai vs ChatGPT Plugins

ggml executa modelos grandes de linguagem e fala em CPUs e GPUs comuns por meio de uma biblioteca compacta de tensores em C, construída para inferência no dispositivo. Engenheiros de ML e desenvolvedores de aplicativos a adotam via llama.cpp e whisper.cpp quando desejam cargas de trabalho LLaMA ou Whisper sem dependências exclusivas de nuvem.

Frameworks como PyTorch são otimizados para clusters de treinamento e tempos de execução pesados. ggml mantém a biblioteca principal minimalista, sem alocações de memória em tempo de execução, sem dependências de terceiros e com quantização inteira para que o llama.cpp possa servir pesos Meta LLaMA em laptops e Apple Silicon.

A empresa ggml.ai foi fundada em 2023 por Georgi Gerganov para dar suporte à biblioteca e foi adquirida pela Hugging Face em 2026. O projeto principal ggml permanece licenciado sob MIT com desenvolvimento aberto no GitHub.

ChatGPT Plugins foi o sistema de extensões da OpenAI em 2023 que permitia ao ChatGPT chamar APIs de terceiros para dados ao vivo, cálculos e serviços externos. Os plugins apareciam como ferramentas que o modelo podia invocar durante uma conversa após os usuários os habilitarem no ChatGPT. O anúncio de março de 2023 da OpenAI listou parceiros de lançamento incluindo Expedia, Instacart, KAYAK, Klarna, OpenTable, Shopify, Slack, Wolfram e Zapier.

A versão beta também incluía plugins criados pela OpenAI para navegação na web via Bing, um interpretador de código Python em sandbox e um plugin de recuperação open-source para busca de documentos privados. Desenvolvedores publicavam plugins por meio de um arquivo manifesto e especificação OpenAPI, e assinantes do ChatGPT Plus foram os primeiros usuários a habilitá-los no chat.

A OpenAI descontinuou a versão beta dos plugins em favor dos GPTs customizados. A página oficial do blog agora declara que os plugins foram descontinuados, e a OpenAI encerrou novas conversas com plugins em 19 de março de 2024, com desligamento completo em 9 de abril de 2024. GPTs com ações customizadas substituíram o modelo de integração para desenvolvedores e usuários do ChatGPT.