研究人员成功在短短26分钟内创建了一个媲美OpenAI的低成本AI推理模型。根据上周发表的一篇论文，这个名为s1的模型仅用1000个问题的小型数据集和不到50美元的成本进行了优化。

知识蒸馏技术

斯坦福大学和华盛顿大学的研究人员使用了一种称为”蒸馏”的方法——让较小的模型从较大模型产生的答案中学习——使用Google的AI推理模型Gemini 2.0 Flash Thinking Experimental的答案来优化s1。

不过，Google的服务条款明确禁止使用Gemini的API”开发与公司AI模型竞争的模型”。The Verge已联系Google请求置评，但截至发稿时尚未收到回复。

精简数据集的威力

研究人员基于阿里云开源的Qwen2.5模型构建了s1。他们最初从包含59000个问题的池开始训练，但发现较大的数据集与精简后的1000个问题集相比”没有提供实质性收益”。研究人员表示，他们仅使用16块NVIDIA H100 GPU就完成了模型训练。

s1模型还使用了一种称为”测试时扩展”的技术，允许模型在产生答案之前”思考”更长时间。正如论文所述，研究人员通过在模型响应中添加”Wait”来强制模型继续推理。论文指出：”这可以导致模型重新检查答案，经常修复错误的推理步骤。”

与行业趋势呼应

OpenAI的o1推理模型使用了类似的方法，热门AI初创公司DeepSeek在推出其R1模型时也试图复制这种方法，声称以极低的成本训练。OpenAI此后指责DeepSeek从其模型中蒸馏信息构建竞争对手，违反了服务条款。

至于s1，研究人员声称s1″在竞赛数学问题上比o1-preview高出最多27%”。

撼动行业格局

更小、更便宜AI模型的崛起威胁着整个行业的既有格局。它们可能证明OpenAI、微软、Meta和谷歌等大公司不需要花费数十亿美元训练AI，也不需要建设装满数千块NVIDIA GPU的庞大数据中心。

这一发展与最近的行业趋势相呼应。DeepSeek今年早些时候推出了R1推理模型，声称以远低于美国竞争对手的成本实现了类似性能。这引发了人们对中国AI能力快速追赶的担忧，也引发了对AI投资热潮可持续性的质疑。

对企业的启示

s1的成果表明，高质量推理不一定需要巨额投资。通过精心策划数据集和有效利用蒸馏技术，小型团队也可能构建出竞争力强的模型。

然而，这种方法也面临法律和伦理挑战。使用竞争对手模型的输出训练自己的模型可能违反服务条款，这在AI行业中引发了关于知识产权和公平竞争的激烈辩论。

无论如何，这项研究为AI民主化提供了新的证据：随着训练技术的进步，构建高性能AI模型的门槛正在降低，这可能让更多参与者进入这个快速发展的领域。