性吧

性吧

性吧新闻

当前您的位置: 性吧 > 性吧新闻 > 正文

Build-Bench 挑战赛正式启动报名

发布日期:2026-08-27 浏览量:

(通讯员:赵晨宇 张圣林)国际软件工程大会 ICSE 2027 首届 Competition Track 挑战赛—— Build-Bench现正式开放报名!

  赛事由性吧 与微软共同组织,美团提供模型 API 支持,中国科学院计算机网络信息中心提供算力基础设施支持。

  Build-Bench挑战赛直面一个真实而棘手的软件工程问题:当一个软件包能够在源指令集架构(ISA)上正常构建,却在目标架构上构建失败时,自主 Agent 能否读取失败日志、定位根因、修改软件包,并最终让它在目标架构上成功构建?

  在 Build-Bench,我们不只看 Agent 能否给出一段“看起来正确”的代码,更关注它的修复能否在干净、受控的目标架构环境中被真实重放和验证。完整执行与验证流程如图1所示。 

 

图1:Build-Bench 挑战赛的 Agent 执行与官方验证流程

01 比赛背景:为什么需要 Build-Bench?

异构架构已经成为常态,构建可移植性仍是现实瓶颈

  随着云计算、边缘计算和新兴硬件平台加速发展,软件生态日益横跨 x86_64、aarch64 和 riscv64 等异构架构,可靠的跨架构构建已成为现实而迫切的软件工程挑战。一个软件包从 x86_64 迁移到 aarch64 或 riscv64 后,可能因架构相关代码、依赖、编译器行为、构建选项、打包规范或工具链差异而失败。定位这类问题,需要同时理解源码、构建系统、软件包规范和硬件架构,人工处理成本高,复现与验证也并不容易。

Build-Bench 将这些真实故障转化为可执行、可复现、由基准和量化评测驱动的智能体竞赛。核心不是 Agent 给出了一段看似合理的答案,而是它的修改能否在全新的目标架构环境中被独立重放,并真正生成预期的软件包制品。

02 赛题内容:你的 Agent,要完成什么?

对于每个评测案例(Case),Agent 将进入一个预先准备的软件包工作区(该软件包在源架构上可以成功构建,但在目标架构上构建失败),Agent 需要自主分析失败原因,并在允许路径内修改软件包文件,使其能够在目标架构环境中重新构建。

真正考察的五种能力

参赛 Agent 需要具备的核心能力如下图所示:

                           

图2:参赛 Agent 需要具备的五项核心能力

覆盖三种架构之间的六种迁移方向

  竞赛提供 200 个公开开发 Case,帮助团队理解任务、搭建流程并迭代 Agent;正式排名基于 1016 个隐藏评测 Case,检验系统是否真正具备跨软件包、故障类型、架构和迁移方向的泛化能力。

  比赛覆盖的六种跨架构迁移方向见表1

表1:Build-Bench 覆盖的跨架构迁移方向

源架构 / 目标架构

x86_64

aarch64

riscv64

x86_64

支持

支持

aarch64

支持

支持

riscv64

支持

支持

03 赛程时间轴

比赛的关键时间节点如下图所示。

        

图3:Build-Bench Challenge 关键时间节点

04 参赛价值与奖项荣誉

参与此比赛,你可以获得:

  • 在真实故障中挑战 Agent: 面对真实软件包、构建日志和跨架构故障,让 Agent 完成从诊断、修改到构建验证的完整修复闭环。

  • 用隐藏评测证明泛化能力:组织方会在 1016 个隐藏 Case 上统一评测,检验你的 Agent 能否跨软件包、故障类型、架构和迁移方向持续有效。

  • 登上 ICSE 2027 的展示舞台: 获得赛事公开排名与竞赛获奖证书,为个人简历和项目作品集增添一项可验证的 Agent 工程实践;排名靠前的团队拟受邀参加 ICSE 2027 期间的现场交流与成果展示。

  • 连接研究与产业社区: 与软件工程、AIOps、AI Agent、程序修复、系统软件和异构计算领域的研究者及工程团队交流。

补充说明

  获奖团队将获得竞赛获奖证书,相关成果与获奖信息将在赛事官方渠道公布。赛事组织方计划于 ICSE 2027 期间举办现场竞赛环节和团队成果展示,具体日期、时长、场地和议程以 ICSE 2027 大会及赛事官方通知为准。

  赛事组织方正在积极对接行业合作伙伴,争取为参赛团队提供更多奖励与支持;如有新增安排,将通过赛事官方网站及时发布。


05 大赛报名

团队规模:每支团队 1–5 人,由一名队长注册并维护团队信息、成员名单及参赛版本。每位参赛者只能加入一支队伍。

报名链接://matrix.cstcloud.cn/build-bench

Build-Bench Challenge 期待你的加入

  立即报名:进入 Build-Bench 参赛平台(//matrix.cstcloud.cn/build-bench

ICSE官方网站(//conf.researchr.org/track/icse-2027/icse-2027-competition-track

咨询邮箱:[email protected]


组织单位:性吧 、微软

支持单位:美团、中国科学院计算机网络信息中心


核心组织团队


性吧 :赵晨宇、张圣林、林亦航、黄子豪、徐安、李铖泰

微软:马明华