Azure AI Content Safety / Prompt Shields
Azure AI Content Safety / Prompt Shields 是面向生成式 AI、模型、RAG 或 Agent 风险控制的 AI 安全工具。
分类：云内容安全与提示词攻击防护
公司 / 团队：Microsoft Azure
详细介绍
该工具的主要能力包括文本与图片内容审核、仇恨/性/暴力/自伤风险检测、Prompt Shields 用户提示攻击检测、文档攻击检测和企业云集成。
AI 安全工具的真实效果取决于模型、语言、攻击方法、上下文长度、输入模态、系统提示、RAG 数据、工具权限、部署位置、阈值、规则、版本和业务容错。详情页应把防护位置、风险类型、模态、动作、API、延迟、部署方式、数据处理、日志、评测结果和产品状态拆成动态字段维护。
适合场景
- Azure AI 应用
- RAG 文档注入检测
- 用户提示攻击检测
- 图文内容审核
- 企业合规工作流
使用注意
- Prompt Shields 是检测层，不等同于工具授权和数据访问控制
- 区域、API 版本和支持语言需要动态维护
- 严重度阈值应使用真实业务样本验证
- 上线前应建立正常样本、边界样本、已知攻击、未知变体、跨语言、多模态和故障场景测试集，并完成权限审查、红队、安全评审、日志、回滚和应急预案。