做模型训练的同学应该都有同感: 模型任务越来越多,实验排队越来越长,卡的账单越来越吓人

在此分享下我们最近的一个开源项目 https://github.com/baidu-baige/LoongForge ,我们在做的事很简单一句话: 让训练变快,且结果不变。

目前 LoongForge 训练加速框架已覆盖一批主流具身模型的训练加速(pi05/GR00T/xVLA/FastWAM/Lingbot-VA/Cosmos/Dreamzero/Wall-oss-0.5等), 拿来就能用,基本都能有近乎翻倍的训练加速效果;

如下拿 DreamZero(具身智能模型)做了个演示—— 注意,它只是众多已支持模型中的一个例子

https://baidu-baige.github.io/LoongForge/assets/video/dreamzero-comparison.mp4

📊 视频里你能看到: ✅ 训练吞吐 4 倍加速 ✅ loss 曲线与官方版本 完全对齐——不是近似对齐,是能叠在一起的那种

为什么死磕“曲线对齐”? 因为不能保精度的加速没有意义: 跑得再快,学歪了就是白跑。 快 + 无损,才是敢放进你训练管线里的加速。

此外,非常欢迎伙伴们,一起来讨论技术问题、共建开源社区。期待您的 star 与交流。

 

相关文件下载
loongforge.jpg
190.15 KB
下载
Logo

立足具身智能前沿赛道,致力于搭建全球化、开源化、全栈式技术交流与实践共创平台。

更多推荐