MosaicML LLM Foundry
MosaicML LLM Foundry 是面向训练数据、模型预训练、微调、对齐、实验或模型生命周期的 AI 模型训练工具。
分类：LLM 预训练与微调 / 开源框架
公司 / 团队：Databricks
详细介绍
该产品的主要能力包括LLM 预训练、继续训练、SFT、Composer、Flash Attention、分布式策略、流式数据、评估和推理兼容。
模型训练质量受到数据、模板、Tokenizer、超参数、并行策略、硬件、随机种子和评估方法影响。详情页应把支持模型、训练方法、硬件、数据格式、许可证、费用、版本和复现条件拆成动态字段维护。
适合场景
- 开源 LLM
- 嵌入模型
- 大规模预训练
- Databricks AI Runtime
- 研究和企业训练
使用注意
- 旧 Databricks Fine-tuning 产品与开源 LLM Foundry 不能混为一谈
- 配置、数据流和 Checkpoint 应版本化
- 训练产物上线前应通过独立评测、安全测试、人工审核和真实流量灰度验证。