Promptfoo ModelAudit
Promptfoo ModelAudit 是面向生成式 AI、模型、RAG 或 Agent 风险控制的 AI 安全工具。
分类：开源模型文件与供应链扫描
公司 / 团队：Promptfoo / OpenAI
详细介绍
该工具的主要能力包括机器学习模型文件静态扫描、危险反序列化与可疑代码检测、模型格式和归档检查、CVE 与供应链风险识别、CLI 和 CI/CD。
AI 安全工具的真实效果取决于模型、语言、攻击方法、上下文长度、输入模态、系统提示、RAG 数据、工具权限、部署位置、阈值、规则、版本和业务容错。详情页应把防护位置、风险类型、模态、动作、API、延迟、部署方式、数据处理、日志、评测结果和产品状态拆成动态字段维护。
适合场景
- 下载模型审查
- CI/CD 模型门禁
- 开源权重供应链
- 恶意 Pickle 检测
- 模型仓库治理
使用注意
- 静态扫描不能证明模型行为安全或权重无后门
- 不同格式的可分析深度不同
- 模型文件仍应使用隔离环境、签名、哈希和来源验证
- 上线前应建立正常样本、边界样本、已知攻击、未知变体、跨语言、多模态和故障场景测试集，并完成权限审查、红队、安全评审、日志、回滚和应急预案。