(通讯员:赵晨宇 张圣林)国际软件工程大会 ICSE 2027 首届 Competition Track 挑战赛—— Build-Bench现正式开放报名!
赛事由性吧
与微软共同组织,美团提供模型 API 支持,中国科学院计算机网络信息中心提供算力基础设施支持。
Build-Bench挑战赛直面一个真实而棘手的软件工程问题:当一个软件包能够在源指令集架构(ISA)上正常构建,却在目标架构上构建失败时,自主 Agent 能否读取失败日志、定位根因、修改软件包,并最终让它在目标架构上成功构建?
在 Build-Bench,我们不只看 Agent 能否给出一段“看起来正确”的代码,更关注它的修复能否在干净、受控的目标架构环境中被真实重放和验证。完整执行与验证流程如图1所示。

图1:Build-Bench 挑战赛的 Agent 执行与官方验证流程
01 比赛背景:为什么需要 Build-Bench?
异构架构已经成为常态,构建可移植性仍是现实瓶颈
随着云计算、边缘计算和新兴硬件平台加速发展,软件生态日益横跨 x86_64、aarch64 和 riscv64 等异构架构,可靠的跨架构构建已成为现实而迫切的软件工程挑战。一个软件包从 x86_64 迁移到 aarch64 或 riscv64 后,可能因架构相关代码、依赖、编译器行为、构建选项、打包规范或工具链差异而失败。定位这类问题,需要同时理解源码、构建系统、软件包规范和硬件架构,人工处理成本高,复现与验证也并不容易。
Build-Bench 将这些真实故障转化为可执行、可复现、由基准和量化评测驱动的智能体竞赛。核心不是 Agent 给出了一段看似合理的答案,而是它的修改能否在全新的目标架构环境中被独立重放,并真正生成预期的软件包制品。
02 赛题内容:你的 Agent,要完成什么?
对于每个评测案例(Case),Agent 将进入一个预先准备的软件包工作区(该软件包在源架构上可以成功构建,但在目标架构上构建失败),Agent 需要自主分析失败原因,并在允许路径内修改软件包文件,使其能够在目标架构环境中重新构建。
真正考察的五种能力
参赛 Agent 需要具备的核心能力如下图所示:

图2:参赛 Agent 需要具备的五项核心能力
覆盖三种架构之间的六种迁移方向
竞赛提供 200 个公开开发 Case,帮助团队理解任务、搭建流程并迭代 Agent;正式排名基于 1016 个隐藏评测 Case,检验系统是否真正具备跨软件包、故障类型、架构和迁移方向的泛化能力。
比赛覆盖的六种跨架构迁移方向见表1。
表1:Build-Bench 覆盖的跨架构迁移方向
源架构 / 目标架构 |
x86_64 |
aarch64 |
riscv64 |
x86_64 |
— |
支持 |
支持 |
aarch64 |
支持 |
— |
支持 |
riscv64 |
支持 |
支持 |
— |
03 赛程时间轴
比赛的关键时间节点如下图所示。

图3:Build-Bench Challenge 关键时间节点
04 参赛价值与奖项荣誉
参与此比赛,你可以获得:
在真实故障中挑战 Agent: 面对真实软件包、构建日志和跨架构故障,让 Agent 完成从诊断、修改到构建验证的完整修复闭环。
用隐藏评测证明泛化能力:组织方会在 1016 个隐藏 Case 上统一评测,检验你的 Agent 能否跨软件包、故障类型、架构和迁移方向持续有效。
登上 ICSE 2027 的展示舞台: 获得赛事公开排名与竞赛获奖证书,为个人简历和项目作品集增添一项可验证的 Agent 工程实践;排名靠前的团队拟受邀参加 ICSE 2027 期间的现场交流与成果展示。
连接研究与产业社区: 与软件工程、AIOps、AI Agent、程序修复、系统软件和异构计算领域的研究者及工程团队交流。
补充说明
获奖团队将获得竞赛获奖证书,相关成果与获奖信息将在赛事官方渠道公布。赛事组织方计划于 ICSE 2027 期间举办现场竞赛环节和团队成果展示,具体日期、时长、场地和议程以 ICSE 2027 大会及赛事官方通知为准。
赛事组织方正在积极对接行业合作伙伴,争取为参赛团队提供更多奖励与支持;如有新增安排,将通过赛事官方网站及时发布。
05 大赛报名
团队规模:每支团队 1–5 人,由一名队长注册并维护团队信息、成员名单及参赛版本。每位参赛者只能加入一支队伍。
报名链接://matrix.cstcloud.cn/build-bench
Build-Bench Challenge 期待你的加入
ICSE官方网站(//conf.researchr.org/track/icse-2027/icse-2027-competition-track)
咨询邮箱:[email protected]
组织单位:性吧
、微软
支持单位:美团、中国科学院计算机网络信息中心
核心组织团队
性吧
:赵晨宇、张圣林、林亦航、黄子豪、徐安、李铖泰
微软:马明华