超越微软全球第一!上交AI智能体炼成「Kaggle特级大师」登顶OpenAI MLE-bench
【新智元导读】刚刚,由上海交通大学人工智能学院Agents团队提出的AI专家智能体,在OpenAI权威基准测试MLE-bench中击败了业界AI顶流微软,夺冠登顶!
就在刚刚,一支来自中国高校的团队成功刷榜了OpenAI发布的权威基准测试MLE-bench!
MLE-bench是衡量AI在机器学习工程(MLE)中表现的权威基准。它精选Kaggle上的75个相关竞赛,构建多样任务,测试AI在模型训练、数据准备、实验运行等机器学习工程中的能力
随着人工智能(AI)能力在多个任务中逐步逼近甚至超过人类水平,AI-for-AI(AI4AI)正成为重要发展方向——
AI4AI的终极形态是实现具备自主演进能力的AI系统,能够独立完成从问题建模、实验设计到算法探索与验证的全过程。
类似于AlphaGo向AlphaZero的演进路径,该过程经历了从人类辅助训练到完全自主优化的阶段,体现出AI系统在自我演进上的潜力和可行性。
为助力AI4AI发展,上海交通大学人工智能学院Agents团队提出了面向机器学习(Machine Learning)的AI专家智能体「ML-Master」。
ML-Master通过创新的「探索-推理深度融合」范式,模拟人类专家的认知策略,整合广泛探索与深度推理,显著提升AI4AI性能。
与先前方法相比,ML-Master在所有评价维度上均全面领先,尤其在中等难度任务上奖牌率提升2.2倍(20.2% vs 9.0%),计算效率翻倍(仅需12小时 vs 基线小时)。
尽管大型语言模型(LLM)和自主智能体在AI4AI领域取得显著进展,但现有方法仍面临核心挑战:探索与推理的割裂限制了性能提升。
受人类专家开发AI的迭代与探索过程启发,研究团队观察到,高效的AI开发需要探索与推理的有机结合。
其中,探索通过实验和发现获取新洞察,而推理则通过分析已有知识和历史经验进行深度思考。
两者缺一不可——缺乏推理的探索会导致低效的试错,而缺乏探索的推理则容易陷入停滞。
❌探索效率低下:传统方法常依赖单一路径探索,易陷入局部最优,缺乏系统性导航解决方案空间的能力。
❌推理能力受限:现有推理模型难以有效提炼探索过程中的丰富经验,导致决策缺乏历史依据,产生幻觉或不可靠输出。
❌深度融合困难:探索与推理往往各自为战,缺乏有效整合机制,限制了整体性能的突破。
因此,如何有效整合探索与推理,让AI系统能够像人类专家一样在解决复杂问题时既能广泛探索又能深度思考,成为AI4AI领域的核心挑战。
ML-Master通过统一的认知框架,模拟人类专家的开发流程,实现了探索与推理的有机协同。
MCTS启发的树搜索:利用蒙特卡洛树搜索,将研发AI过程建模为决策树,每个节点代表一个AI方案的状态。
并行探索策略:同时探索多个解决方案分支,突破串行限制,多条路径同时探索,大幅提升探索效率,提高解决方案多样性。
动态优先级调整:根据潜在价值分配计算资源,实时评估不同分支的潜力,将更多计算资源投入到更有希望的方向,避免无效探索。
自适应记忆机制:精准提取关键洞察,避免信息过载,智能筛选历史探索中的有效信息,既保留宝贵经验又避免冗余干扰,让每次推理都建立在更相关的知识基础上。
情境化决策:基于历史经验进行有根据的分析,不再是「拍脑袋」决策,而是结合具体执行反馈和成功案例,让AI的每个决定都有据可依。
闭环学习系统:持续从执行反馈中学习优化,探索结果实时反哺推理过程,形成「探索→推理→优化→再探索」的良性循环,实现持续自我提升。
智能记忆构建:探索模块自动收集执行结果、代码片段和性能指标,同时选择性整合来自父节点和并行兄弟节点的关键信息,避免信息过载。
嵌入推理决策:记忆信息直接嵌入到推理模型的「think」部分中,让每次推理都基于具体的历史执行反馈和多样化探索的经验进行精准决策。
协同进化机制:推理结果指导后续探索方向,探索经验持续丰富推理过程,真正实现了探索驱动推理进化,推理反哺探索路径的良性循环。
MLE-bench是OpenAI于2024年10月推出的类人机器学习能力评测基准,旨在衡量大模型是否具备像人类AI工程师一样独立完成项目的能力。
该基准由75个来自Kaggle的真实机器学习任务组成,涵盖从代码编写、模型调参到结果提交的完整流程,是目前最权威、最贴近实际工程场景的AI测试之一。其中不少任务取材自CVPR等国际顶级学术会议。
采用「Bronze+」和「Silver+」指标(表示达到或超过铜牌/银牌阈值),ML-Master展现全面实力:
️荣获奖牌率:17.3%/7.6%/4.4%的任务斩获金/银/铜牌,实现全方面领先
ML-Master在各难度级别的领先表现体现了其卓越的泛化能力,能够在不同复杂度的挑战中保持高水平的稳定性。
ML-Master展现出强大的自我演进能力,在多轮任务执行过程中持续提升其解决方案质量。
该系统通过动态结合探索与推理机制,实现了针对任务特性的逐步适应与优化,体现出在AI4AI方向上的稳步推进潜力。
ML-Master的突破验证了AI4AI的巨大潜力,其探索与推理融合的创新框架为AI自主开发和自我演进提供了新的方向。
当前,AI4AI处于快速发展的初期阶段,随着技术的不断进步,AI的智能化、效率和应用前景将持续拓展。
后续,ML-Master也会集成在即将发布的AI辅助学习智能体和AI辅助研究智能体中。
除了推出面向机器学习的专家智能体ML-Master,上海交通大学人工智能学院Agents团队后续将依托上海交通大学AI-X研究院,陆续推出覆盖各领域的专家智能体,构建有影响力的智能体生态体系,为人工智能技术的创新发展与广泛应用注入新动能。
上海交通大学人工智能学院是上海交通大学顺应发展趋势、对接国家战略、服务城市先导产业而成立的实体学院,是举全校之力组建的特区学院。
学院通过高层次定位和全新体制机制,致力于培养中国自主的人工智能卓越人才,为国家高水平科技自立自强提供有力支撑。学院基础雄厚、生源拔尖、设施完备、条件优越,为上海交通大学百年徐汇校区注入了全PG电子通信新的活力。
学院秉承「用人工智能变革世界,用人才变革人工智能」的愿景,以「引育顶尖人才、产出顶尖成果、孵化顶尖企业」为目标,致力于构建全链条创新体系,打造中国人工智能领域的「黄埔军校」,引领中国人工智能发展。