TLM Playground 对比 mshumer/gpt-prompt-engineer - GitHub

TLM Playground 是 Cleanlab 为可信语言模型（TLM）提供的文档中心。TLM 是一个模型生成 API，能够实时评估任何大型语言模型（LLM）响应的可靠性。每个答案都会获得一个介于 0 到 1 之间的可信度评分，在错误生成和推理错误到达用户之前进行标记。通过 pip install cleanlab-tlm 安装 Python 客户端，设置 CLEANLAB_TLM_API_KEY，然后调用 TLM.prompt() 生成带评分的响应，或调用 get_trustworthiness_score() 审核您现有系统的输出。

大多数幻觉检测器侧重于与检索上下文的一致性。像 RAGAS 这样的指标检查答案是否与源文档匹配，但在上下文稀少或混乱时容易遗漏事实错误。TLM 使用模型不确定性估计，而非以 LLM 作为评判者的提示，Cleanlab 发布的基准测试显示其在 RAG 工作流中的精确度是 RAGAS 的 3 倍。它不需要您领域的标注训练数据，从而避免了导致自定义评估器失效的漂移问题。

构建 RAG 流水线、聊天机器人和代理系统的机器学习与人工智能工程师使用 TLM 来筛选低置信度输出，将其转交人工处理，或替换为备用答案。该 API 支持结构化输出、工具调用、分类标签和多轮对话，而不仅限于纯文本补全。

mshumer/gpt-prompt-engineer 是一个开源的提示词工程工具包，可为您定义的任务生成、测试和排序候选提示词。您描述用例、提供测试用例，笔记本会创建多个提示词变体，在每个测试用例上运行它们，并使用 ELO 评分系统（起始分为 1200）对结果进行排序。它以 Jupyter 笔记本形式提供，您可以在 Google Colab 或本地运行。

大多数提示词工具一次只帮助您编写一个提示词。gpt-prompt-engineer 则将提示词选择视为一场锦标赛：数十个候选提示词在您的测试用例上竞争，最高 ELO 分数会显示出获胜者。单独的笔记本涵盖分类任务、使用自动生成测试用例的 Claude 3 Opus，以及用于降低推理成本的 Opus-to-Haiku 转换。可选的 Weights & Biases 和 Portkey 可记录每次运行的追踪信息。

ML 工程师、提示词工程师和 AI 开发者在需要可复现的提示词调优（而非手动反复试错）时会使用它。该仓库在 GitHub 上获得了 9.7k 星标，并可使用您自己的 OpenAI 或 Anthropic API 密钥运行。它在 MIT 许可证下免费使用。