Promptfoo
Promptfoo 是面向提示词、模型和 Agent 的开源测试、评测与红队工具。
分类：开源提示词测试、安全与优化
公司 / 团队：Promptfoo
详细介绍
它通过配置文件或代码批量运行测试用例，比较不同提示词和模型，使用规则、脚本或 LLM Judge 评分，并可接入 CI 阻止质量或安全回归。
提示词工具的真实价值取决于目标模型、任务数据、模板版本、输入分布、评测方法和团队流程。详情页应将模型兼容、提示词可见性、导出能力、扩展权限、数据保留、价格和迁移状态拆成动态字段维护。
适合场景
- 提示词回归测试
- 多模型基准比较
- 结构化断言
- 越狱与红队评测
- CI/CD 质量门禁
使用注意
- 测试集应覆盖正常、边界、对抗和工具失败场景
- LLM Judge 需校准且不能作为唯一指标
- 红队仅能降低风险，不能证明绝对安全
- 测试配置、模型和数据集都应锁定版本
- 上线前应建立固定测试集、人工评审、自动评分、安全测试、成本预算、故障回退和版本锁定。