A Generalist Agent
Gato é o agente generalista que a DeepMind apresentou em seu artigo de pesquisa de maio de 2022 "A Generalist Agent." Uma política transformer com pesos compartilhados lida com chat, legendagem de imagens, jogos Atari e empilhamento de blocos com braço robótico real a partir do mesmo modelo. O artigo o descreve como uma política multimodal, multitarefa e multi-incorporação que escolhe se deve emitir texto, torques conjuntos, pressionamentos de botões ou outros tokens com base no contexto.
A maioria das ferramentas nessa área treina um modelo separado por domínio de tarefa. Gato, em vez disso, serializa todas as modalidades e ambientes em uma sequência plana de tokens e a processa por um transformer semelhante a um grande modelo de linguagem. Isso significa que um único checkpoint pré-treinado transita entre diálogo, visão e controle sem trocar arquiteturas.
Durante o treinamento, dados de ambientes simulados e reais se misturam com conjuntos de dados de linguagem natural e imagens, com perda mascarada para que Gato preveja apenas alvos de ação e texto. Na implantação, um prompt é tokenizado primeiro, cada nova observação é adicionada à sequência, e o modelo amostra um vetor de ação um token por vez dentro de uma janela de contexto de 1024 tokens. O blog inclui gráficos agrupados por domínio de tarefas onde o modelo pré-treinado ultrapassa os limiares de pontuação de especialistas.
O texto é direcionado mais a pesquisadores de IA e robótica do que a compradores comuns de software. Você pode ler e citar a pesquisa em deepmind.google; não há fluxo público de cadastro, nível de API ou botão de download nas páginas analisadas aqui.
Um transformer com os mesmos pesos joga Atari, legendas de imagens, chats e empilha blocos com um braço robótico real
Implantação mantém uma janela de contexto de 1024 tokens sobre observações e ações anteriores
Anunciado no post de maio de 2022 A Generalist Agent no deepmind.google
Gera texto, torques articulares, pressionamentos de botões ou outros tokens dependendo do ambiente ativo
O treinamento serializa dados multimodais em lotes de tokens planos processados como um grande modelo de linguagem
Máscara de perda limita previsões a ações e textos durante o treinamento
Um transformer compartilhado lida com texto, visão e controle sem modelos separados por tarefa.
O post do DeepMind documenta treinamento, implantação e gráficos de desempenho entre domínios em detalhes.
Demostra como sequências multimodais tokenizadas podem impulsionar ações de linguagem e robótica.
Não disponível como aplicativo público, API ou produto para download para usuários finais.
Anúncio de pesquisa de maio de 2022 sem caminho de implantação para consumidores no deepmind.google.
Amplitude entre domínios significa que o desempenho varia por tarefa ao invés de corresponder a ferramentas especializadas em todos os lugares.
O que é A Generalist Agent?
A Generalist Agent é o artigo de pesquisa do Google DeepMind de maio de 2022 sobre o Gato, um agente multimodal que usa uma única política transformer compartilhada para chat, legendas de imagens, jogos Atari e controle de braço robótico. A página documenta como o Gato tokeniza prompts, observações e ações em uma única sequência.
Quem criou o Gato?
A Generalist Agent foi criado por pesquisadores do Google DeepMind e anunciado no deepmind.google em maio de 2022. O artigo apresenta o Gato como uma política generalista multimodal, multitarefa e multi-incorporação treinada com experiência de agente, além de conjuntos de dados de linguagem e imagem.
Posso usar o Gato como um aplicativo público?
Não. A Generalist Agent é um anúncio de pesquisa no deepmind.google, não um produto hospedado com cadastro ou API. A página explica o fluxo de treinamento e implantação do Gato, mas não oferece download para consumidores ou demonstração interativa.
Quais tarefas o Gato realiza?
A Generalist Agent cobre chat, legendas de imagens, jogos Atari e empilhamento de blocos com braço robótico real a partir de um único modelo. O artigo do DeepMind mostra o Gato usando os mesmos pesos pré-treinados para alternar entre texto, visão e saídas de controle conforme o contexto.
Como o Gato escolhe suas saídas?
A Generalist Agent tokeniza o prompt e cada nova observação em uma sequência, depois amostra um vetor de ação autoregressivamente, um token por vez. O artigo do DeepMind diz que o Gato pode emitir texto, torques das juntas, pressionamentos de botões ou outros tokens dependendo da especificação do ambiente.
A Generalist Agent é gratuito para ler?
Sim. O artigo de pesquisa A Generalist Agent no deepmind.google é gratuito para leitura, sem pagamento ou conta necessária. É uma documentação de pesquisa aberta, não um plano de software pago.

