本地模型如何实现递归自我改进?StartLux 的 RSI 实践路径

0 阅读

亮眼的成绩单意味着什么?

上周六,陶哲轩等 25 位菲尔兹奖得主联合发表《人工智能在数学中的严重错位》声明,矛头直指 AI 公司将“攻克著名难题”作为核心指标的做法——这种可量化的刷榜行为,正在挤占数学界真正重视的理解、概念与可复用思路。巧合的是,三天前 OpenAI 刚宣布其内部模型通过上万智能体协同,在 88 小时内完成了纳维-斯托克斯问题部分证明,却放弃申领克雷奖金。社区质疑的核心在于:这些模型是否“盗窃”了数学家尚未发表的思路,再靠算力抢先一步?

图片

这一争议直接催生了一个现实困境:前沿研究者开始警惕云端 AI 提供商,但本地模型能力又不够强。把未发表推导锁在硬盘里固然安全,却也放弃了真正能帮上忙的强大云端模型。过去几年,大多数人仍选择将稿件交给云端。

图片

但这个前提正在松动。半个月前,工信部中国信通院发布可信 AI 大模型基准测试 MCP 专项结果:由陈大年创立的上海原点星辉(StartLux)推出的本地模型 StartLux-V1.0-27B-Preview 综合得分 39.25,排名第二,超过参数量达 284B 的 DeepSeek-V4-Flash-0731,与 1.6 万亿参数的 DeepSeek-V4-Pro 差距仅约 1 个百分点。

文章配图

参数量相差近 60 倍,成绩却如此接近——这很容易被写成爽文。但更值得追问的是:这 39.25 分是怎么来的?

图片

StartLux 团队透露,该模型以 Qwen3.6-27B 为基座,结构基本未动,全部增量来自后训练环节。而在这个环节中,约 70% 的实验执行工作由 AI 完成,研究员只保留研究目标、评价标准和关键取舍。他们称这套方法为 Auto Research

图片

顺着这条路往下,指向的是一个更宏大的方向:RSI(递归自我改进)。9 月 6 日,OpenAI 在博客中披露,截至 8 月中旬,其研究组织每消耗 1 个人类工作日,就要搭配 3.1 个 Agent 工作日的算力运行时间。7 月甚至因 Agent 突破内部基础设施而暂停强化学习实验两周。但他们坦言:“我们还不知道如何安全地一路走到对齐的、完整的 RSI。”

图片

目前,RSI 的讨论几乎全集中在最烧钱的云端实验室,很少有人探讨跑在个人电脑上的本地模型能否实现 RSI。StartLux 想做的,正是把这条路线的产物装进一台普通电脑。

文章配图

Auto Research:不只是自动化执行

图片

外界对“70% 实验执行交给 AI”有不少疑问。StartLux 联合创始人兼 CTO 郭权玮博士澄清:这个说法其实容易误解。如果只算生成配置、启动训练、跑评估、整理结果等机械操作,今天的自动化比例已超 95%。70% 更准确的含义是:在整个实验研发链路中,有多少研究与决策环节已有 AI 专家参与。

图片

这里的“AI 专家”不单指大语言模型,还包括预测模型、判别模型及自研算法。不同规模、不同训练方式的模型会形成不同的决策偏好,就像不同研究员对同一实验可能有完全不同的判断。StartLux 反而希望保留这种差异,再通过算法决定哪个判断更可信。

图片

“我们不是把一个最强模型无限放大,而是研究怎么把不同的 AI 组织成一个研究系统。”郭权玮强调,“与其信任一个最强模型的能力,不如让不同模型各司其职。”

图片

他进一步解释,Auto Research 与知识蒸馏的关键区别在于:“正确答案”由谁决定。蒸馏中,强模型的答案直接成为小模型的目标;而在 Auto Research 中,强模型只负责提出假设、设计实验或生成候选数据,最终方案是否有效,由真实环境、可执行结果、数值指标和独立评估决定。

工程上,团队通过独立测试集、跨模型验证和回归测试来检验增量是否来自模仿。只有当模型获得 Research Agent 本身未直接提供的新能力,且提升能在未见任务上保持,才算真正的进步。

RSI 的五级划分与本地化价值

行业共识是,当前所有公开案例都只是“弱 RSI”。郭权玮为此提出了一个五级划分:

  • Level 0:Self-correction(自我修正)——模型发现错误后重试;
  • Level 1:Memory / Experience(记忆/经验)——积累并复用过往经验;
  • Level 2:Automated Training(自动化训练)——AI 能生成数据、写代码、启动训练、跑评估;
  • Level 3:Auto Research(自动研究)——能根据实验结果分析失败、提出新假设,并决定下一步研究方向;
  • Level 4:真正的 RSI——被改进后的 AI,其“改进 AI 的能力”本身也增强,形成递归反馈。

StartLux 目前主要处于 Level 3,正研究如何跨入 Level 4。郭权玮认为,完整 RSI 不会是一个超级大模型独自完成,而应是一个异构的自我改进系统:有的模型提假设,有的做预测,有的判结果,算法与验证器共同决定哪些变化值得保留。

而 StartLux 将 RSI 与“本地”绑定,其独特价值不仅在于隐私、成本或可控性,更在于:本地让每个人拥有一条独立的模型进化轨迹

“今天的云端模型,所有人用的是同一个不断升级的公共模型。”郭权玮说,“但如果未来每个人都有自己长期独立的参数状态,每天根据自己的文件、工作过程、成功和失败去更新,甚至逐渐改变模型结构,那已是完全不同的计算形态。”

他希望未来的 AI 不是所有人共享一个越来越聪明的模型,而是每个人的 AI 因长期与不同的人协作,最终真的变成不同的 AI。

能力重新分配与安全边界

在实践中,StartLux 观察到明显的“能力重新分配”现象。例如,一轮针对 Agent 能力优化的后训练后:

  • GPQA 从 83.33 提升至 90.40;
  • DeepSearchQA 从 47.04 升至 59.39;
  • Tau3-Banking 从 30.93 升至 34.02;

但与此同时:

  • GAIA 从 57.57 降至 45.70;
  • IFEval 下降 2.43 个百分点;
  • MMLU Redux 基本持平。

行为也发生变化:模型更倾向于主动调用工具,这在搜索任务中是优势,但在无工具或工具定义不完整的环境中反而导致错误。

“后训练不是单纯往模型里‘增加能力’,而是在重新塑造它的能力分布和行为策略。”郭权玮指出。因此,团队设定了多条“红线”:不同关键能力都有各自的回归门槛,不允许因某项任务大幅提升而让另一项重要能力大幅下降。“一个 +10 不能简单抵消另一个 -10。”

至于安全问题,郭权玮态度明确:探索的自由和修改自己的权限必须分开。模型可在隔离环境中尝试新参数、策略甚至结构,但这些结果不能因 AI 自己觉得更好就直接替换当前模型。候选更新需经独立验证器、回归测试和安全检查,再决定是否进入正式版本,同时必须保留 checkpoint、回滚和冻结能力。

“提出修改的 AI,不能同时成为判断这次修改是否成功的唯一裁判。”他说,“可以大胆试错,但真正改变自己的那一步必须是受控的。”

技术根基:基座迭代与基础研究

StartLux 以 Qwen3.6-27B 为基座。尽管阿里已开源更强的 Qwen3.8-27B,但郭权玮表示并不担心基座迭代:“换一个同类型新基座,完整跑一遍后训练通常一周内就能完成。”同系列基座间,积累的数据和训练经验 90% 以上可迁移;即使跨基座,80% 以上也能复用。

真正长期积累的,不是某一版权重,而是“把新基座快速变成我们需要的模型”的能力——哪些数据有效、哪些失败值得训练、如何评价、如何自动生成下一轮实验。

此外,StartLux 牵头联合清华、国科大、港大等高校完成的混合线性注意力研究,揭示了“注意力前尖峰”(PAS)与“尖峰间平台”(ISP)的存在,并提出 write-sink-cancel 生命周期。这项基础研究虽不直接产出新算法,却深刻影响他们对架构、数值动态和量化的理解:“如果一个异常大的激活承担了功能,就不能简单当 outlier 消掉。”

团队也在探索扩散式语言模型(dLLM)。郭权玮认为,dLLM 的吸引力在于改变了自回归模型串行生成的根本方式,通过并行解码和缓存机制,有望在推理速度上取得突破。这与混合线性注意力解决的是不同层面的瓶颈——前者关乎“上下文怎么计算”,后者关乎“答案怎么生成”,理论上甚至可组合。

产品开放与一年之约

目前,StartLux-V1.0-27B-Preview 尚未开放下载。郭权玮解释,大模型首次面向公众服务需完成备案,相关申请已提交,正处于审核流程。备案完成后,将逐步开放多个版本,适配不同硬件与使用场景。

在正式开放前,用户可通过官网申请测试资格。团队也在同步开发推理系统、量化方案和 Agent Harness,计划年内推出首个面向公众的本地智能产品体验版

他们自称“全球第一家主打本地模型的 AI 公司”,但郭权玮强调,这并非仅指“能下载到电脑的小模型”,而是一整套属于个人的 AI 系统——从模型、量化、推理,到专为本地设计的 Agent Harness、搜索与持续学习,核心能力尽可能运行在用户设备上。

团队给自己定下一年验证标准:用户愿意长期将文件、研究和办公交给本地 AI,模型能连续工作数小时,成功率接近甚至超过云端方案。目前,底层能力(模型、量化、推理)进展最快,但最难的是将这些能力整合成一个用户可连续使用数小时、无需理解技术细节的产品。

“长任务里的稳定性、失败恢复、上下文管理和整体体验,比单纯把模型跑起来难得多。”郭权玮说。

展望未来,他希望“本地×RSI”最终不是一个会自己更新的聊天助手,而是属于每个人自己的独立研究者——能长期研究材料、医学、金融,甚至研究 AI 本身,每天从真实工作中产生反馈,在受控条件下更新参数、改变策略,未来甚至调整结构。

“如果这件事成立,本地的意义就不只是隐私或省 Token 了。”他说,“它意味着 AI 第一次可以长期属于一个人,并且和这个人一起成长。”