A Generalist Agent vs Kalos.art

Gato é o agente generalista que a DeepMind apresentou em seu artigo de pesquisa de maio de 2022 "A Generalist Agent." Uma política transformer com pesos compartilhados lida com chat, legendagem de imagens, jogos Atari e empilhamento de blocos com braço robótico real a partir do mesmo modelo. O artigo o descreve como uma política multimodal, multitarefa e multi-incorporação que escolhe se deve emitir texto, torques conjuntos, pressionamentos de botões ou outros tokens com base no contexto.

A maioria das ferramentas nessa área treina um modelo separado por domínio de tarefa. Gato, em vez disso, serializa todas as modalidades e ambientes em uma sequência plana de tokens e a processa por um transformer semelhante a um grande modelo de linguagem. Isso significa que um único checkpoint pré-treinado transita entre diálogo, visão e controle sem trocar arquiteturas.

Durante o treinamento, dados de ambientes simulados e reais se misturam com conjuntos de dados de linguagem natural e imagens, com perda mascarada para que Gato preveja apenas alvos de ação e texto. Na implantação, um prompt é tokenizado primeiro, cada nova observação é adicionada à sequência, e o modelo amostra um vetor de ação um token por vez dentro de uma janela de contexto de 1024 tokens. O blog inclui gráficos agrupados por domínio de tarefas onde o modelo pré-treinado ultrapassa os limiares de pontuação de especialistas.

O texto é direcionado mais a pesquisadores de IA e robótica do que a compradores comuns de software. Você pode ler e citar a pesquisa em deepmind.google; não há fluxo público de cadastro, nível de API ou botão de download nas páginas analisadas aqui.

lib.KALOS.art é uma biblioteca de referência de estilos navegável para geração de imagens por IA. Ela cataloga nomes de artistas e gêneros artísticos organizados para Midjourney v5.2, Midjourney v4, SDXL, Stable Diffusion 2.1 e Stable Diffusion 1.5. Cada modelo recebe sua própria seção da biblioteca para que você possa ver quais prompts e referências funcionam no motor que você realmente utiliza.

A maioria das bibliotecas de prompts apresenta a mesma lista de artistas para todos os modelos. lib.KALOS.art dimensiona cada biblioteca para o que aquele modelo reconhece, desde 767 artistas no SD 2.1 até 1.340 no MJ v5.2 e SDXL, com 292 categorias de gêneros e meios ao lado do índice de artistas. Cada entrada de artista e gênero acompanha de 8 a 11 galerias temáticas de exemplo para que você compare os resultados antes de copiar um prompt.

Entusiastas de arte por IA e engenheiros de prompt utilizam para consultar um estilo, copiar um prompt ajustado pelo copiador embutido e salvar favoritos após fazer login. Ela fica ao lado do mercado mais amplo Kalos.art, mas mantém o foco na navegação de referências em vez da venda de obras de arte.