根据1M AI News的监测,专注于AI推理基础设施的Fireworks AI公司发布了Fireworks Training的预览版,正从纯粹的推理平台扩展到集成的训练与部署平台。Fireworks AI由林乔创立——他是Meta的前工程师,参与过PyTorch的开发,目前估值为40亿美元,每天处理15万亿个token。该平台提供三个层级:1. 代理式训练:面向没有机器学习基础设施的产品团队,让他们描述任务并上传数据,以完成从训练到部署的整个流程,目前仅支持LoRA;2. 托管训练:面向机器学习工程师,支持SFT、DPO以及带强化学习的微调(包括完整的参数训练);3. 训练API:面向研究团队,允许自定义损失函数与训练循环,支持GRPO和DAPO等算法,可实现从单节点Qwen3 8B到Kimi K2.5 (万亿参数的全参数规模训练,并在64台NVIDIA B200上完成。Fireworks AI用于生产推理的客户,以及AI编程工具Cursor、Vercel和Genspark,已在该平台上完成前沿的强化学习训练。Vercel为其代码生成产品v0训练了自动纠错模型,达到93%的无错误代码生成率,而Sonnet 3.5只有62%,并将端到端延迟相比此前使用的封闭模型提升了40倍。Genspark使用强化学习微调了开源的万亿参数Kimi K2模型,打造深度研究代理,使工具使用率提升33%,并将成本降低50%。Cursor为Composer 2完成了分布式强化学习训练,覆盖全球3-4个集群;)当前在CursorBench(中排名第一,训练与生产推理共享同一GPU池。Fireworks AI强调其关键技术差异在于训练与推理之间的数值一致性。MoE )混合专家组(模型在数值上比密集模型更脆弱,隐藏状态的微小变化可能改变专家路由,并放大级联效应。Fireworks公布了所有支持模型在训练与推理之间的KL散度数值,全部低于0.01。

查看原文
post-image
post-image
post-image
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 1
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
KatyPatyvip
· 7小时前
登月 🌕
查看原文回复0