最后更新 07-28-2026
Reviews:
Join thousands of AI enthusiasts in the World of AI!
Mixtral of experts - Mistral AI
Mixtral 8x7B 是 Mistral AI 发布的一款开放权重大型语言模型，以稀疏专家混合解码器形式发布，采用 Apache 2.0 许可。您可以下载权重进行自托管推理，在您的数据上微调，或通过 Mistral 托管的 API 调用该模型。它主要用于通用文本生成、代码编写和指令执行。
该性能级别的大多数开源模型运行的是密集架构，每个参数在每个标记上都会激活。Mixtral 在每个解码器块中仅通过八个专家前馈层中的两个路由每个标记，并将它们的输出相加。这种稀疏路由实现了总计 467 亿参数，而每个标记仅激活 129 亿参数，Mistral 报告称这在大多数基准测试中比 Llama 2 70B 快 6 倍。
该模型支持 32k 标记上下文，并在英语、法语、意大利语、德语和西班牙语的多语言任务中表现良好。代码生成是其公认的优势，经过监督微调和直接偏好优化的 Mixtral 8x7B Instruct 变体在 MT-Bench 上达到 8.30 分。
机器学习工程师、研究人员和产品团队在需要开放权重、宽松许可且性能与 GPT-3.5 等闭源模型竞争时使用 Mixtral。自托管用户可以通过带有 Megablocks CUDA 内核的 vLLM 或云实例上的 Skypilot 部署，而 API 用户在 open-mixtral-8x7b 端点的输入和输出标记每百万个支付 0.70 美元。
路由器为每个令牌激活8个专家层中的2个，使用129亿个参数中的467亿个参数中的12.9亿个
长文档和多轮对话的32k令牌上下文窗口
Apache 2.0开源权重许可证，用于研究和商业自托管
支持英语、法语、意大利语、德语和西班牙语
API端点 open-mixtral-8x7b，输入和输出令牌每百万0.70美元
Mixtral 8x7B 指令模型在DPO微调后在MT-Bench上的得分为8.30
可通过vLLM与Megablocks CUDA内核或Skypilot云端点部署
Apache 2.0 开源权重让您无需供应商锁定即可自托管。
稀疏路由激活每个标记 46.7B 参数中的 12.9B，降低推理成本，相较于密集的 70B 模型。
32k 标记上下文窗口处理长文档和扩展聊天会话。
支持英语、法语、意大利语、德语和西班牙语五种语言。
文档化的 vLLM 和 Skypilot 部署路径，适合生产自托管。
Mistral目前的模型阵容已超越Mixtral，推出了更新的Small和Medium版本。
托管API访问需要Mistral Studio账户，并按令牌付费。
自托管需要支持CUDA的GPU基础设施以实现高效推理。
什么是 Mixtral 8x7B？
Mixtral 8x7B 是 Mistral AI 的开源权重稀疏专家混合语言模型，拥有总计 467 亿参数，采用 Apache 2.0 许可。在每一层，一个路由器会选择八个专家前馈组中的两个来处理每个标记，每个标记激活 129 亿参数，推理速度比同质量的密集模型更快。
Mixtral 8x7B 在 Mistral API 上多少钱？
在 Mistral Studio 上，Mixtral 8x7B 可通过 open-mixtral-8x7b 端点使用，输入和输出每百万标记均收费 0.70 美元。批量处理享受 50% 折扣，缓存输入标记的输入费用享受 90% 折扣。
可以自托管 Mixtral 8x7B 吗？
可以。Mixtral 8x7B 以 Apache 2.0 许可开放权重，您可以下载并在自己的 GPU 基础设施上运行。Mistral 提供了通过 vLLM 和 Megablocks CUDA 内核部署的文档，Skypilot 支持在云实例上启动 vLLM 端点。
Mixtral 8x7B 支持哪些语言？
Mixtral 8x7B 支持英语、法语、意大利语、德语和西班牙语。Mistral 的发布说明描述了其在这五种语言上的强大多语言基准表现，适用于欧洲语言的文本生成和翻译工作流。
Mixtral 8x7B 与 Llama 2 70B 比较如何？
Mistral 报告称 Mixtral 8x7B 在大多数标准基准上匹配或优于 Llama 2 70B，推理速度快 6 倍。其稀疏架构每个标记仅激活 129 亿参数（总计 467 亿参数），相较于密集的 70B 模型大幅降低计算成本。
Mixtral 8x7B 使用什么许可？
Mixtral 8x7B 采用 Apache 2.0 许可发布，权重开放可下载。Mistral 称其为发布时最强大的开源权重模型，许可宽松，适合研究和商业自托管部署。