返回 X 名人动态

Sebastian Raschka:Ember-1 展示了后训练的价值

中文全文 · AI 翻译
推文 1 / 2

简单总结一下 Ember-1。

看起来是个很棒的模型!

(最近有人在播客上问我:如果有 xx 百万美元,今天开发前沿大语言模型的最佳方式是什么?我的建议是:从一个现有模型开始,把这笔预算用在后训练上。这里就是一个很好的例子。)

Raschka 的 Ember-1 示意图:Kimi K3 加上控制推理开销的后训练方法。
原推文配图 · 查看来源
引用 @dzhulgakov 的推文
推文 2 / 2

也要为 Fireworks AI 坦承自己是在 Kimi 基础上构建模型点赞(我还记得 Mistral 3 发布时的尴尬情况)。

https://x.com/rasbt/status/1999557830131494977?s=20

引用 @rasbt 的推文
对照原文

A little Ember-1 tl;dr. Seems like a great model! (Was recently asked on a podcast, given $ xx million, what's the best way to develop a frontier LLM today? My recommendation was: start with an existing one and spend that budget on post-training. Great example here.) https://t.co/RjXWtqMxvK

Also kudos to fireworks AI for admitting that they built on top of Kimi (I remember the awkward Mistral 3 release) https://t.co/mM8OaNjhVJ

老杨AI实操

微信扫一扫,添加好友

老杨AI实操的微信好友二维码

手机可长按保存图片,再到微信中识别二维码

保存二维码