A Generalist Agent vs Kalos.art

Gato est l'agent généraliste présenté par DeepMind dans son article de recherche de mai 2022 intitulé « A Generalist Agent ». Une seule politique de transformeur avec des poids partagés gère la conversation, la description d'images, les jeux Atari et l'empilement de blocs par un bras robotique réel à partir du même modèle. L'article le décrit comme une politique multimodale, multitâche et multi-incarnation qui choisit d'émettre du texte, des couples articulaires, des pressions de boutons ou d'autres jetons selon le contexte.

La plupart des outils dans ce domaine entraînent un modèle distinct par domaine de tâche. Gato sérialise au contraire chaque modalité et environnement en une séquence plate de jetons et la fait passer à travers un transformeur conçu comme un grand modèle de langage. Cela signifie qu'un seul point de contrôle pré-entraîné passe du dialogue, à la vision, puis au contrôle sans changer d'architecture.

Pendant l'entraînement, les données issues d'environnements simulés et réels se mélangent avec des ensembles de données en langage naturel et d'images, avec une perte masquée pour que Gato ne prévoie que les cibles d'action et de texte. Lors du déploiement, un prompt est d'abord tokenisé, chaque nouvelle observation s'ajoute à la séquence, et le modèle échantillonne un vecteur d'action un jeton à la fois dans une fenêtre de contexte de 1024 jetons. Le blog inclut des graphiques regroupés par domaine des tâches où le modèle pré-entraîné dépasse les seuils de score expert.

Le texte s'adresse davantage aux chercheurs en IA et robotique qu'aux acheteurs de logiciels quotidiens. Vous pouvez lire et citer la recherche sur deepmind.google ; il n'y a pas de processus d'inscription public, de niveau API ou de bouton de téléchargement sur les pages examinées ici.

lib.KALOS.art est une bibliothèque de référence de styles consultable pour la génération d'images par IA. Elle répertorie les noms d'artistes et les genres artistiques organisés pour Midjourney v5.2, Midjourney v4, SDXL, Stable Diffusion 2.1 et Stable Diffusion 1.5. Chaque modèle dispose de sa propre section de bibliothèque afin que vous puissiez voir quels prompts et références fonctionnent sur le moteur que vous utilisez réellement.

La plupart des bibliothèques de prompts fournissent la même liste d'artistes pour chaque modèle. lib.KALOS.art adapte chaque bibliothèque à ce que ce modèle reconnaît, allant de 767 artistes sur SD 2.1 jusqu'à 1 340 sur MJ v5.2 et SDXL, avec 292 catégories de genres et de médiums en plus de l'index des artistes. Chaque entrée d'artiste et de genre est accompagnée de 8 à 11 galeries d'exemples thématiques pour que vous puissiez comparer les résultats avant de copier un prompt.

Les amateurs d'art IA et les ingénieurs de prompts professionnels l'utilisent pour rechercher un style, copier un prompt ajusté via le copieur intégré, et sauvegarder leurs favoris une fois connectés. Il se trouve à côté du marché plus large Kalos.art mais reste centré sur la consultation de références plutôt que sur la vente d'œuvres d'art.