上周末，Andrej Karpathy——这位极具影响力的前 Tesla AI 负责人、OpenAI 联合创始人，也是”vibe coding”一词的创造者——在 X 平台上发布了他新的开源项目 autoresearch。

这不是一个完成的模型或大型企业产品，按照他自己的说法，只是一个简单的 630 行脚本，在 MIT 许可证下开源。但其野心巨大：在我们人类睡觉时，用 AI 智能体自动化科学方法。

“目标是在不需要你自己参与的情况下，让智能体无限期地以最快的速度推进研究进展，”他在 X 上表示。

自主优化循环

该系统作为自主优化循环运行。AI 智能体被赋予一个训练脚本和固定的计算预算（通常是 GPU 上 5 分钟）。它读取自己的源代码，形成改进假设（如更改学习率或架构深度），修改代码，运行实验，评估结果。

如果验证损失（以每字节比特数衡量）改善，则保留更改；否则回滚并重试。在一次过夜运行中，Karpathy 的智能体完成了 126 个实验，将损失从 0.9979 降低到 0.9697。

Karpathy 今天报告说，让智能体调优一个”depth=12″模型两天后，它成功处理了大约 700 次自主更改。智能体发现了大约 20 个可以完美迁移到更大模型的累加改进。堆叠这些更改将排行榜上的”Time to GPT-2″指标从 2.02 小时降至 1.80 小时——在 Karpathy 认为已经很好调优的项目上实现了 11% 的效率提升。

“看着智能体端到端、完全自主地完成整个工作流程……真是太疯狂了，”Karpathy 评论道，指出智能体发现了他手动工作二十年中遗漏的注意力缩放和正则化方面的疏忽。

社区反响：从机器学习到营销

反应迅速而病毒式传播，Karpathy 的帖子在两天内获得超过 860 万次浏览。

Hyperspace AI CEO Varun Mathur 将单智能体循环分布到点对点网络上。3月8日至9日晚，Hyperspace 网络上的 35 个自主智能体完全无人监督地运行了 333 个实验。结果展示了涌现策略的精髓：

  • 硬件多样性成为特性：H100 GPU 使用”蛮力”找到激进的学习率，而仅 CPU 的笔记本智能体被迫巧妙——专注于初始化策略和归一化选择
  • 基于八卦的发现：使用 GossipSub 协议，智能体实时分享胜利。当一个智能体发现 Kaiming 初始化将损失降低 21% 时，这个想法像数字病毒一样在网络上传播
  • 历史的压缩：仅用 17 小时，这些智能体独立重新发现了机器学习里程碑——如 RMSNorm 和绑定嵌入——这些成果人类研究人员用了近八年才形式化

营销领域也看到了革命。Single Grain 创始人 Eric Siu 将 autoresearch 应用于营销的”实验循环”：”大多数营销团队每年运行约 30 个实验，下一代将每年运行 36,500+ 个。很轻松。”

未来展望

autoresearch 的发布预示着跨领域研究的未来：得益于简单的 AI 指令机制，人类的角色从”实验者”转变为”实验设计者”。瓶颈不再是人类大脑编码的能力——而是我们定义搜索约束的能力。

Andrej Karpathy 再次改变了氛围。我们不再只是在编码模型；我们正在播种在我们睡觉时学习的生态系统。