Megatron-LM / Megatron Core
Megatron-LM / Megatron Core 是面向训练数据、模型预训练、微调、对齐、实验或模型生命周期的 AI 模型训练工具。
分类：超大模型分布式训练 / 并行框架
公司 / 团队：NVIDIA
详细介绍
该产品的主要能力包括Tensor、Pipeline、Sequence、Context 和 Expert Parallel、分布式 Optimizer、MoE、Transformer Engine 与大规模预训练。
模型训练质量受到数据、模板、Tokenizer、超参数、并行策略、硬件、随机种子和评估方法影响。详情页应把支持模型、训练方法、硬件、数据格式、许可证、费用、版本和复现条件拆成动态字段维护。
适合场景
- 数十亿到万亿参数模型
- NVIDIA GPU 集群
- LLM 和 MoE 预训练
- 研究团队
使用注意
- 更适合专业大规模训练
- 并行拓扑和 Checkpoint 转换复杂
- 硬件、网络和容器版本必须统一
- 训练产物上线前应通过独立评测、安全测试、人工审核和真实流量灰度验证。