Dernière mise à jour 07-30-2026
Catégorie:
Reviews:
Join thousands of AI enthusiasts in the World of AI!
A Generalist Agent
Gato est l'agent généraliste présenté par DeepMind dans son article de recherche de mai 2022 intitulé « A Generalist Agent ». Une seule politique de transformeur avec des poids partagés gère la conversation, la description d'images, les jeux Atari et l'empilement de blocs par un bras robotique réel à partir du même modèle. L'article le décrit comme une politique multimodale, multitâche et multi-incarnation qui choisit d'émettre du texte, des couples articulaires, des pressions de boutons ou d'autres jetons selon le contexte.
La plupart des outils dans ce domaine entraînent un modèle distinct par domaine de tâche. Gato sérialise au contraire chaque modalité et environnement en une séquence plate de jetons et la fait passer à travers un transformeur conçu comme un grand modèle de langage. Cela signifie qu'un seul point de contrôle pré-entraîné passe du dialogue, à la vision, puis au contrôle sans changer d'architecture.
Pendant l'entraînement, les données issues d'environnements simulés et réels se mélangent avec des ensembles de données en langage naturel et d'images, avec une perte masquée pour que Gato ne prévoie que les cibles d'action et de texte. Lors du déploiement, un prompt est d'abord tokenisé, chaque nouvelle observation s'ajoute à la séquence, et le modèle échantillonne un vecteur d'action un jeton à la fois dans une fenêtre de contexte de 1024 jetons. Le blog inclut des graphiques regroupés par domaine des tâches où le modèle pré-entraîné dépasse les seuils de score expert.
Le texte s'adresse davantage aux chercheurs en IA et robotique qu'aux acheteurs de logiciels quotidiens. Vous pouvez lire et citer la recherche sur deepmind.google ; il n'y a pas de processus d'inscription public, de niveau API ou de bouton de téléchargement sur les pages examinées ici.
Un transformeur unique avec les mêmes poids joue à Atari, captionne des images, discute, et empile des blocs avec un bras robotique réel
Le déploiement maintient une fenêtre de contexte de 1024 tokens sur les observations et actions précédentes
Annoncé dans le post A Generalist Agent de mai 2022 sur deepmind.google
Génère du texte, des couples de joints, des pressions de boutons, ou d'autres tokens selon l'environnement actif
La formation sérialise des données multimodales en lots de tokens plats traités comme un grand modèle de langage
Le masquage de perte limite les prédictions aux cibles d'action et de texte pendant la formation
Un transformeur partagé gère le texte, la vision et le contrôle sans modèles séparés par tâche.
Le post de DeepMind documente en détail la formation, le déploiement et les graphiques de performance inter-domaines.
Démontre comment des séquences multimodales tokenisées peuvent conduire à la fois des actions linguistiques et robotiques.
Non disponible en tant qu'application publique, API ou produit téléchargeable pour les utilisateurs finaux.
Annonce de recherche de mai 2022 sans chemin de déploiement grand public sur deepmind.google.
L'étendue inter-domaines signifie que la performance varie selon la tâche plutôt que de correspondre partout à des outils spécialisés.
Qu'est-ce que A Generalist Agent ?
A Generalist Agent est un article de recherche de Google DeepMind de mai 2022 sur Gato, un agent multimodal qui utilise une politique de transformateur partagée pour le chat, la description d'images, les jeux Atari et le contrôle de bras robotique. La page explique comment Gato tokenize les invites, observations et actions en une seule séquence.
Qui a créé Gato ?
A Generalist Agent a été créé par les chercheurs de Google DeepMind et annoncé sur deepmind.google en mai 2022. L'article présente Gato comme une politique généraliste multimodale, multitâche et multi-incarnation entraînée sur l'expérience d'agent ainsi que sur des ensembles de données linguistiques et d'images.
Puis-je utiliser Gato comme application publique ?
Non. A Generalist Agent est une annonce de recherche sur deepmind.google, pas un produit hébergé avec inscription ou API. La page explique le processus d'entraînement et de déploiement de Gato, mais n'offre pas de téléchargement grand public ni de démo interactive.
Quelles tâches Gato peut-il gérer ?
A Generalist Agent couvre le chat, la description d'images, le jeu Atari et l'empilement de blocs par un bras robotique réel à partir d'un seul modèle. L'article de DeepMind montre que Gato utilise les mêmes poids pré-entraînés pour passer du texte, à la vision, puis aux commandes selon le contexte.
Comment Gato choisit-il ses sorties ?
A Generalist Agent tokenize l'invite et chaque nouvelle observation en une séquence, puis génère un vecteur d'action de manière autorégressive, un token à la fois. L'article de DeepMind indique que Gato peut émettre du texte, des couples articulaires, des pressions de boutons ou d'autres tokens selon la spécification de l'environnement.
A Generalist Agent est-il gratuit à lire ?
Oui. L'article de recherche A Generalist Agent sur deepmind.google est gratuit à lire sans paiement ni compte requis. Il s'agit d'une documentation de recherche ouverte et non d'un logiciel payant.