A Generalist Agent

A Generalist Agent

Gato es el agente generalista que DeepMind presentó en su publicación de investigación de mayo de 2022 "A Generalist Agent." Una política de transformador con pesos compartidos maneja chat, generación de subtítulos para imágenes, juegos de Atari y apilamiento de bloques con un brazo robótico real desde el mismo modelo. La publicación lo describe como una política multimodal, multitarea y multi-encarnación que elige si emitir texto, pares de torsión en las articulaciones, pulsaciones de botones u otros tokens según el contexto.

La mayoría de las herramientas en este ámbito entrenan un modelo separado por dominio de tarea. Gato, en cambio, serializa cada modalidad y entorno en una secuencia plana de tokens y la procesa mediante un transformador con la forma de un modelo de lenguaje grande. Eso significa que un único punto de control preentrenado se mueve entre diálogo, visión y control sin cambiar de arquitectura.

Durante el entrenamiento, los datos de entornos simulados y reales se mezclan con conjuntos de datos de lenguaje natural e imágenes, con la pérdida enmascarada para que Gato prediga solo objetivos de acción y texto. En el despliegue, un prompt se tokeniza primero, cada nueva observación se añade a la secuencia, y el modelo muestrea un vector de acción un token a la vez dentro de una ventana de contexto de 1024 tokens. El blog incluye gráficos agrupados por dominio de tareas donde el modelo preentrenado supera umbrales de puntuación de expertos.

El escrito está dirigido más a investigadores en IA y robótica que a compradores de software cotidianos. Puedes leer y citar la investigación en deepmind.google; no hay un flujo público de registro, nivel API ni botón de descarga en las páginas revisadas aquí.

Funciones principales:
  1. Un transformador con los mismos pesos juega Atari, subtitula imágenes, chatea y apila bloques con un brazo robótico real

  2. El despliegue mantiene una ventana de contexto de 1024 tokens sobre observaciones y acciones previas

  3. Anunciado en la publicación A Generalist Agent de mayo de 2022 en deepmind.google

  4. Genera texto, torques conjuntos, pulsaciones de botones u otros tokens según el entorno activo

  5. El entrenamiento serializa datos multimodales en lotes planos de tokens procesados como un modelo de lenguaje grande

  6. La enmascaración de pérdida limita las predicciones a objetivos de acción y texto durante el entrenamiento

Pros:
  1. Un transformador compartido maneja texto, visión y control sin modelos separados por tarea.

  2. La publicación de DeepMind documenta en detalle el entrenamiento, despliegue y gráficos de rendimiento en diferentes dominios.

  3. Demuestra cómo las secuencias multimodales tokenizadas pueden impulsar acciones tanto en lenguaje como en robótica.

Cons:
  1. No disponible como una aplicación pública, API o producto descargable para usuarios finales.

  2. Anuncio de investigación de mayo de 2022 sin camino de despliegue para consumidores en deepmind.google.

  3. La amplitud entre dominios significa que el rendimiento varía según la tarea en lugar de igualar herramientas especializadas en todos lados.

Preguntas frecuentes:

¿Qué es A Generalist Agent?

A Generalist Agent es la publicación de investigación de Google DeepMind de mayo de 2022 sobre Gato, un agente multimodal que utiliza una política transformadora compartida para chat, subtitulado de imágenes, juegos de Atari y control de brazo robótico. La página documenta cómo Gato tokeniza indicaciones, observaciones y acciones en una sola secuencia.

¿Quién creó Gato?

A Generalist Agent fue creado por investigadores de Google DeepMind y anunciado en deepmind.google en mayo de 2022. La publicación presenta a Gato como una política generalista multimodal, multitarea y multi-encarnación entrenada con experiencia de agentes además de conjuntos de datos de lenguaje e imágenes.

¿Puedo usar Gato como una aplicación pública?

No. A Generalist Agent es un anuncio de investigación en deepmind.google, no un producto alojado con registro o API. La página explica el flujo de entrenamiento y despliegue de Gato, pero no ofrece una descarga para consumidores ni una demostración interactiva.

¿Qué tareas maneja Gato?

A Generalist Agent cubre chat, subtitulado de imágenes, juego de Atari y apilamiento de bloques con brazo robótico real desde un solo modelo. La publicación de DeepMind muestra a Gato usando los mismos pesos preentrenados para cambiar entre texto, visión y salidas de control según el contexto.

¿Cómo elige Gato sus salidas?

A Generalist Agent tokeniza la indicación y cada nueva observación en una secuencia, luego muestrea un vector de acción de forma autorregresiva un token a la vez. La publicación de DeepMind dice que Gato puede emitir texto, torques articulares, pulsaciones de botones u otros tokens según la especificación del entorno.

¿Es A Generalist Agent gratis para leer?

Sí. La publicación de investigación A Generalist Agent en deepmind.google es gratuita para leer sin pago ni cuenta requerida. Es documentación de investigación abierta y no un plan de software de pago.

Categoría:

Tarificación:

Gratis

Etiquetas:

Research Agent
Multi-Modal AI
Robotics
Reinforcement Learning
Transformer
Atari
DeepMind
Generalist Agent

Tecnología utilizada:

Google Cloud
Google Analytics
Google Tag Manager
Google Fonts
Font Awesome
PHP
GitHub
Tailwind CSS

Reseñas:

Give your opinion on A Generalist Agent :-

Overall rating

Join thousands of AI enthusiasts in the World of AI!

Mejor Gratis A Generalist Agent Alternativas (y Pagadas)

By Rishit