Agenta
Agenta 是面向 LLM 应用实验、提示词管理、评测和可观测的开源平台。
分类：开源 LLMOps 与提示词评测
公司 / 团队：Agenta
详细介绍
开发者可在 Playground 比较提示词和模型配置，将测试样例组织为数据集，运行自动或人工评测，并关联生产 Traces 和用户反馈。
提示词工具的真实价值取决于目标模型、任务数据、模板版本、输入分布、评测方法和团队流程。详情页应将模型兼容、提示词可见性、导出能力、扩展权限、数据保留、价格和迁移状态拆成动态字段维护。
适合场景
- 开源提示词实验
- 多模型对比
- A/B 测试
- 人工和自动评测
- 自托管 LLMOps
使用注意
- A/B 测试需保证流量分配和指标统计可靠
- 自托管部署应配置鉴权、备份和日志保留
- LLM-as-a-Judge 需要偏差校准
- 实验配置必须记录模型和依赖版本
- 上线前应建立固定测试集、人工评审、自动评分、安全测试、成本预算、故障回退和版本锁定。