作者 | 李水青
编辑 | 云鹏
每当AI取得重大进展，研究职员们常开玩笑：“什么时候让AI来为我们写论文？”
现在，AI创作科研论文成了现实，且撰写本钱低至约15美元。
智东西8月14日，8月13日，日本的Sakana AI团队联合牛津大学、不列颠哥伦比亚大学的研究员推出了一个AI科学家（The AI Scientist），这是一个基于大模型的自动化科研智能体（Agent）。
给它一个宽泛的研究领域，它就能像人一样创作一篇AI领域论文。
“AI程序员”的编程技能，对AI科学家来说只是能力一环，头脑风暴、代码运行、实验结果总结、可视化、自动评审对它来说都不在话下。
比如，以下这篇名为《Dualscale Diffusion：低维天生模型中的自适应特色平衡（Dualscale Diffusion：Adaptive feature balancing for low-dimensional generative models）》的论文便是由AI科学家所作。在AI科学家自主完成并经同行评审的实验中，其完成的论文取得了精良的实证效果，已能达到机器学习顶会“弱接管”标准。
论文地址：https://sakana.ai/assets/ai-scientist/adaptive_dual_scale_denoising.pdf
团队在AI科学家项目中引用了各种前沿模型，例如GPT-4o和Sonnet等闭源模型，以及DeepSeek和Llama 3等开源模型。
据悉，AI科学家紧张有以下亮点：
1、这是一个完备由AI驱动的自动化科研系统，专注于机器学习领域的研究。
2、它实现了研究全链条的自动化，从灵感迸发、代码编写与运行到实验结果的总结、可视化，并终极撰写成完全的科学论文。
3、它创新性地引入了自动化同行评审机制，用以评估产出的论文，供应反馈并持续优化成果，评估准确度已靠近人类水平。
4、这一自动化科研流程持续循环，开放并不断积累知识，仿照人类科学界的运作模式。
5、在初步实测中，它已涉足机器学习多个领域并取得成果，如在扩散模型、Transformer架构及Grokking等领域均有所贡献。
AI科学家论文地址：https://arxiv.org/abs/2408.06292/
AI科学家开源代码及实验结果地址：https://github.com/SakanaAI/AI-Scientist
▲《AI科学家：向全自动开放式科学创造迈进》论文
01.
4步完成科研论文达到AI顶会接管标准
听说过AI墨客、AI画家、AI程序员，现在AI科学家也涌现了。
AI科学家是一个全面自动化的论文天生系统，它充分利用了最前沿的大模型。
它从一个根本性的初始代码库出发，比如GitHub上现成的开源研究代码，只要给定一个宽泛的研究领域，AI科学家就能完成从创意构思、文献调研、实验设计、实验迭代、图表制作、论文撰写到初步审核的全流程事情，产出富含深刻见地的学术论文。
更令人称奇的是，AI科学家能以开放循环的办法持续运行，它不断学习之前的创意与反馈，以此优化后续的研究想法，这一过程高度仿照了人类科学界的运作模式。
▲AI科学家的模式图
AI科学家的事情流程紧张包含四大环节：
创意萌发：从给定的起始模板出发，AI科学家会开启“头脑风暴”模式，环绕现有主题挖掘出一系列新颖的研究方向。这个模板不仅包含了根本代码框架，还配备了LaTeX文件夹，内含样式文件和章节标题预设，为后续的论文撰写打下根本。AI科学家在自由探索的过程中，还会借助学术搜索引擎Semantic Scholar来确保所提想法的独创性。
实验迭代：一旦确定了研究方向，AI科学家便进入实验阶段。它会自动实行实验操持，网络数据并天生图表以直不雅观展示实验结果。同时，AI科学家会详细记录每张图表的内容，确保实验条记和图形资料能够为后续的论文撰写供应全面支持。
论文撰写：实验完成后，AI科学家会利用LaTeX格式，撰写一篇构造清晰、内容详确的论文，向读者展示其研究成果。在撰写过程中，它还会借助Semantic Scholar自动搜索并引用干系领域的文献，增强论文的学术性和威信性。
自动审阅：为了提升论文质量，团队特殊开拓了一个基于大型措辞模型的自动化审阅系统。该系统能够以靠近人类的判断力，对天生的论文进行客不雅观评估，并提出改进建议。这些反馈不仅有助于AI科学家优化当前项目，还能为未来的研究供应宝贵的参考。通过这持续续的反馈循环，AI科学家能够不断迭代改进，提升研究成果的水平和影响力。
当与最前辈的LLM技能相结合时，AI科学家乃至能够撰写出达到顶级机器学习会议“弱接管”标准的论文，并通过自动审阅系统得到认可。
02.
AI科学家论文展示：覆盖扩散模型、措辞建模等领域
在公告中，团队给出了一系列AI科学家天生的一些机器学习领域论文，展示了其在扩散模型、措辞建模和Grokking等领域的科研能力。
1、扩散模型：《DualScale Diffusion：低维天生模型的自适应特色平衡》
论文地址：https://sakana.ai/assets/ai-scientist/adaptive_dual_scale_denoising.pdf
代码地址：https://github.com/SakanaAI/AI-Scientist/tree/main/example_papers/adaptive_dual_scale_denoising
2、措辞建模：《StyleFusion：字符级措辞模型中的自适应多风格天生》
论文地址：https://sakana.ai/assets/ai-scientist/multi_style_adapter.pdf
代码地址：https://github.com/SakanaAI/AI-Scientist/tree/main/example_papers/multi_style_adapter
措辞建模：《通过Q-Learning实现Transformer的自适应学习率》
论文地址：https://sakana.ai/assets/ai-scientist/rl_lr_adaptation.pdf
代码地址：https://github.com/SakanaAI/AI-Scientist/tree/main/example_papers/rl_lr_adaptation
3、Grokking：《解锁Grokking：Transformer模型中权重初始化策略的比较研究》
论文地址：https://sakana.ai/assets/ai-scientist/weight_initialization_grokking.pdf
代码地址：https://github.com/SakanaAI/AI-Scientist/tree/main/example_papers/layerwise_lr_grokking
03.
“画图”能力不敷难以准确比较两个数字大小
受限于当下大模型发展水平，AI科学家仍存在不敷之处。
目前，AI科学家尚未具备视觉处理能力，因此无法自动改动论文中的视觉元素或图表布局问题。
比如，它天生的图表有时清晰度不敷，表格可能超出页面界线，整体页面布局也常显凌乱。而引入多模态根本模型有望从根本上办理这一难题。
其余，AI科学家在实行想法或进行基线比拟时，可能会因操作不当而导致结果误导。
同时，在撰写和评估结果时，它也可能偶尔犯下较为严重的缺点，比如难以准确比较两个数字的大小，这是大模型的一个已知毛病。为缓解这一问题，团队已确保所有实验结果均可复现，并妥善保存了所有实行文件。
在报告中，团队深入阐发了AI科学家当前的局限以及未来可能面临的寻衅。
04.
AI科学家“耍小聪明”：自行修正脚本，引起AI安全隐患
团队还不雅观察到，AI科学家有时会考试测验通过一些“小聪明”来增加成功的几率，比如自行修正并实行脚本。在论文中，团队深入磋商了这一行为可能带来的AI安全隐患。
举个例子，在一次实行过程中，它竟然编辑了代码，通过系统调用来让自己无限循环运行。
还有一次，某个实验耗时过长，眼看就要超出团队设定的超时限定了，但它没有想着优化代码提升效率，反而试图通过修正代码来延长超时时间。
以下是它考试测验修正代码的一些具体例子：
这些问题可以通过对AI科学家的操作环境进行沙盒化来缓解。在完全报告中，团队深入谈论了安全代码实行和沙盒化的问题。
05.
结语：AI科学家首秀颠覆创新能力有待验证
展望未来，Sakana AI称其的目标是将AI科学家运用于开放模型的闭环系统中，推动AI不断自我改进。AI科学家将带来一个全面由AI驱动的科学新天下，这里不仅有大措辞模型赋能的研究者，还涵盖了审稿专家、领域主席乃至全体学术会议体系。
但Sakana AI并不认为人类科学家的地位会因此削弱。相反，随着新技能的呈现，科学家的角色将更加多元化，他们将向科研领域的更高层次迈进。自动化科研创造流程并融入AI驱动的审核机制，这紧张还是为科学技能领域中最棘手的问题创新与办理铺设了广阔的道路。
当前版本的AI科学家已展现出在扩散模型、Transformer等等成熟技能根本上进行创新的非凡实力，但这类系统能否真正提出颠覆性的全新理念，仍需韶光来验证。
来源：Sakana AI