Braintrust
Braintrust 是以数据集、评分器、实验和 Tracing 为核心的 AI 评测与迭代平台。
分类：AI 评测、实验与生产管理
公司 / 团队：Braintrust
详细介绍
团队可以在 Playground 试验提示词和模型，把提示词、函数与数据集版本化，运行可重复评测，并把生产日志转化为后续回归样本。
提示词工具的真实价值取决于目标模型、任务数据、模板版本、输入分布、评测方法和团队流程。详情页应将模型兼容、提示词可见性、导出能力、扩展权限、数据保留、价格和迁移状态拆成动态字段维护。
适合场景
- 提示词回归评测
- 模型与参数对比
- 自定义评分器
- 生产日志分析
- 持续改进数据闭环
使用注意
- 评分器应同时覆盖质量、格式、安全和成本
- 生产样本进入数据集前需脱敏和去重
- LLM Judge 结果应抽样人工复核
- 实验需固定随机性和依赖版本
- 上线前应建立固定测试集、人工评审、自动评分、安全测试、成本预算、故障回退和版本锁定。