小米直播MiMo-V2.6训练成本,GitHub Copilot迁Rust,低成本浏览器Agent实测
小米直播MiMo-V2.6强化学习训练,实时公开成本
小米团队最近做了一件少见的事:把新模型MiMo-V2.6的强化学习训练过程直接挂到网上直播。画面里不仅有奖励曲线的实时变化,还能看到硬件突然宕机、自动恢复的全过程。最引人注目的是成本数字——训练一小时大约烧掉3万美元。

这种透明度在大模型圈子里不多见。通常公司只公布最终结果,但小米选择把中间过程摊开,包括失败和修复。直播链接里能看到GPU利用率、损失函数波动,甚至运维人员临时插手干预的日志。这种做法或许是为了建立社区信任,也可能是在为后续开源铺路。不管怎样,它让外界第一次直观感受到RLHF(人类反馈强化学习)阶段的真实开销。
值得注意的是,这次直播还确认了罗福莉和梦晨两位研究员已正式加入小米强化学习团队。两人此前在学术界和工业界都有不少RL相关成果,他们的加入可能意味着小米在Agent方向要加码。
Qwen3.8-27B本地模型尝试自主操作浏览器
Reddit上有个LocalLLaMA社区用户发帖称,他用量化后的Qwen3.8-27B模型做了个实验:给模型一个任务,比如“查今天北京天气”,模型不仅能生成查询语句,还会自己调用系统命令打开浏览器,导航到天气网站,再把结果解析回来验证准确性。
这个案例还没经过严格评测,也没公布具体prompt和环境配置,但确实展示了本地大模型向Agent能力迈进的苗头。过去这类操作通常需要云端API配合,现在单机就能跑通闭环。不过用户也提到,模型偶尔会卡在页面加载环节,或者误判DOM结构,稳定性还有待提高。
如果这类能力能普及,对隐私敏感场景会是个好消息。毕竟数据不用出本地,就能完成信息检索和验证。但挑战也很明显:本地算力有限,复杂任务容易超时;浏览器自动化本身就有兼容性问题,不同网站结构差异大,模型泛化能力得跟上。
Browser Use + Jev:7秒完成航班搜索,成本不到半美分
Browser Use团队联合Jev搞了个低成本浏览器Agent方案,实测搜一趟航班只要7秒左右,费用约0.0039美元。关键在于他们没用大模型硬扛所有决策,而是设计了分层动作空间:简单点击、输入交给小模型处理,复杂判断才调用大模型。
技术细节上,他们把网页DOM树压缩成状态表示,减少token消耗;同时设置回退机制——如果小模型连续两次操作失败,就切回大模型兜底。这套组合拳让平均调用成本压得很低。项目代码已经开源,开发者可以直接拿来搭自己的网页自动化工具。
这种思路其实反映了当前Agent开发的一个趋势:别什么事都指望大模型搞定。通过任务分解和模型协作,既能保效果又能控成本。尤其对高频、标准化的操作(比如订票、查物流),小模型+规则引擎可能比纯大模型更实用。
GitHub Copilot运行时迁移到Rust
GitHub官方博客宣布,他们把Copilot的Agent运行时从TypeScript(基于Node.js)整个搬到了Rust。这个运行时是Copilot CLI、桌面应用和SDK共用的核心模块,负责代码生成、上下文管理、与编辑器通信等任务。
迁移理由很实在:Rust在内存安全、并发性能和资源占用上优势明显。特别是CLI场景,用户希望工具启动快、吃内存少,Node.js在这方面一直被诟病。换成Rust后,冷启动时间缩短了近40%,内存峰值也降了不少。另外,Rust的编译产物是单一二进制文件,部署起来比Node.js依赖一堆npm包省心得多。
有意思的是,GitHub全程用Copilot辅助完成了这次迁移。他们在博客里贴了代码对比,显示Copilot能准确建议Rust的异步处理模式(比如用tokio替代Node.js的Promise),甚至帮忙重写了一些复杂的状态机逻辑。这算是Copilot“吃自己的狗粮”的典型案例了。
Grok Bot接入1Password,自动登录网页和软件
xAI给Grok Bot加了个实用功能:能直接调用用户的1Password账户,自动填充密码完成登录。不管是网页还是桌面软件,只要1Password里存了凭证,Grok就能代劳输入,省去手动复制粘贴的麻烦,也降低密码泄露风险。
实现上应该用了1Password的官方API或扩展协议。用户首次使用时需要授权Grok访问特定 vault(保险库),之后Bot就能在需要时请求凭证。不过目前还不清楚是否支持双因素认证(2FA)场景——如果网站要求短信验证码,Grok可能还得让用户手动介入。
这个功能看似简单,其实是Agent落地的重要一步。过去AI助手只能“说”不能“做”,现在能直接操作系统级的认证流程,说明权限打通和安全沙箱问题有了可行方案。类似思路以后可能会扩展到其他密码管理器,比如Bitwarden或KeePass。
VLM做OCR时用推测解码降延迟
视觉语言模型(VLM)处理OCR任务有个痛点:输入一张图,输出却是大段Markdown格式文本(包含表格、标题层级等)。这时候输出token数量远超输入,生成速度成了瓶颈。
有人提出用推测解码(speculative decoding)来优化。具体做法是:先用一个小而快的“草稿模型”预测接下来几个token,再用主VLM模型并行验证这些预测。如果猜对了,就批量输出;猜错了就回退重试。因为草稿模型速度快,整体延迟能明显下降。
实测在文档OCR场景下,这种方法能把生成时间缩短30%以上。不过效果取决于草稿模型的质量——如果它总猜错,反而会增加额外开销。所以选草稿模型时得找和主模型输出风格接近的,比如都用同样tokenizer的轻量版。
PD分离推理对KV Cache带宽的新要求
随着PD(Parameter-Decoupled)分离架构流行,KV Cache的传输成了新瓶颈。有实践者指出,现代PD推理至少需要40GB/s的KV Cache池带宽,否则Prefill阶段的数据搬运时间会拖累整体吞吐。
举个例子:如果用RDMA网络搭建内存池,400Gb(约50GB/s)的链路才能勉强满足需求。低于这个速度,GPU就得干等数据,算力利用率大打折扣。这也解释了为什么有些团队宁愿多花钱上高速互联,也不愿用普通以太网凑合。
这个数字不是理论推导,而是实测得出的。有人拿A100集群做过对比:当KV Cache带宽从20GB/s升到45GB/s时,长文本生成的吞吐量几乎翻倍。看来未来PD架构的设计,得把内存池带宽当成核心指标来规划。
Vercel用AI Gateway编排Jev Agent
Vercel展示了Jev接入AI Gateway后的新玩法:毫秒级完成模型路由、评分和停止控制。传统网关只管转发请求,但他们把决策逻辑嵌进去,让网关能根据输入内容动态选择模型、调整temperature,甚至中途叫停低质量生成。
比如一个客服Agent请求进来,网关先用小模型快速分类意图;如果是简单查询,直接走cheap model;复杂问题才转给GPT-4o。过程中还能实时监控输出质量,一旦发现胡说八道就切断连接。这种编排能力让Agent运行更可控,也省了不必要的API调用费。
这其实代表了AI基础设施的一个转向:网关不再只是管道,而是变成智能调度中心。以后开发者可能不用自己写复杂的fallback逻辑,直接在网关层面配规则就行。