A Generalist Agent 对比 Cogram

Gato 是 DeepMind 在其 2022 年 5 月研究文章《A Generalist Agent》中介绍的通用智能体。一个具有共享权重的变换器策略处理聊天、图像描述、Atari 游戏和真实机器人手臂堆积积木等任务，均来自同一模型。文章将其描述为一种多模态、多任务、多体现策略，根据上下文选择输出文本、关节扭矩、按钮按压或其他标记。

该领域的大多数工具为每个任务领域训练独立模型。而 Gato 则将每种模态和环境序列化为扁平标记序列，并通过类似大型语言模型的变换器处理。这意味着一个预训练检查点可以在对话、视觉和控制之间切换，无需更换架构。

训练过程中，来自模拟和真实环境的数据与自然语言和图像数据集混合，损失被掩码处理，使 Gato 仅预测动作和文本目标。部署时，先对提示进行标记化，每个新观察结果追加到序列中，模型在 1024 标记的上下文窗口内一次采样一个动作向量。博客中包含按领域分组的任务图表，显示预训练模型达到专家分数阈值。

该文面向 AI 和机器人研究人员多于普通软件用户。您可以在 deepmind.google 阅读和引用该研究；这里审查的页面没有公开注册流程、API 层级或下载按钮。

Cogram为建筑师和工程师提供一个统一的工作空间，用于项目文档管理，包括会议记录、现场报告、RFI、提交文件和项目邮件。该平台可连接Procore、Deltek、Unanet、Microsoft Teams、Outlook、Autodesk、Zoom和Google Meet，并以贵公司的模板输出草稿，而非通用摘要。

通用会议助手仅捕捉通话笔记。Cogram围绕AEC工作流程构建：RFI和提交文件与Procore同步，现场报告来自现场的语音和照片，项目代理根据图纸和通信回答问题。模块化定价让公司只购买所需模块，外部协作者账户免费。

项目经理、设计负责人和施工管理员使用Cogram减少重复的行政工作，主页估计每周可节省数小时。个人可开始14天试用；团队定价在演示后按座位报价。