AI编码代理在Co-Design Bench上仅26.4%任务全通过，GPT-6 Astra仍需人工清理
\n Alibaba's new coding-agent benchmark, Co-Design Bench, tests AI agents on real user requests that already tripped them up in practice. Even GPT-6 Astra, the top performe
ガイド一覧 · 本文は主に簡体字中国語です。国際向けの要点は English summary をご利用ください。
## AI编码代理在Co-Design Bench上仅26.4%任务全通过，GPT-6 Astra仍需人工清理
AI编码代理在Co-Design Bench上的表现远未达到预期：即使当前最强模型GPT-6 Astra也只能在真实用户请求中全通过约26.4%的任务，其余任务平均需人工清理70%以上细节。这类代理在实际应用中“几乎对但不完全对”的情况非常普遍，尤其在涉及布局、交互、内容等多个元素同时修改的复杂场景中。
对于开发者和团队来说，这份数据意味着什么？它直接影响订阅决策：选择支持Cursor、Claude Code或Windsurf这类AI编程工具时，必须优先考虑工具在真实多模态编辑场景下的可用性，而非仅看单一基准测试的“接近完美”分数。工程师需评估自身项目类型，决定是否接受部分手动干预，或者寻找能降低清理时间的组合方案。
Co-Design Bench的核心测试场景
Alibaba团队与亚洲高校合作推出的Co-Design Bench基于真实用户修改网页应用的需求构建，涵盖从简单调整（如从收据提取金额并更新依赖总计）到完整项目重构的各类请求。代理需处理网页输入，可能包含图片、音频、视频或文档。
测试严格：AI评判器会直接在浏览器中运行完成后的应用，并由第二人复核所有正面结果，排除模拟结果或硬编码内容。结果显示，代理在多模态任务（需从视觉或音频输入提取数据并一致更新视图）和仓库级重构任务上表现差异显著。
模型对比与真实表现
在十款模型测试中：
- GPT-6 Astra（当前最强）平均满足约70%任务需求，全通过仅26.4%，在多模态任务上41%全通过，仓库任务不足18%。
- Claude Opus 5 和 Qwen3.8-Max 紧随其后。
- Grok 4.6 排名垫底。
性能随任务复杂度上升而下降：一个任务包含三种或四种变更类型（布局、设计、交互、内容）时，所有模型分数均下滑。额外算力（如GLM-5.2消耗近6倍token）并未带来实质改善。
模型表现对比表（基于Co-Design Bench数据，移动端横向滚动）
| 模型 | 全通过率 | 平均满足率 | 任务复杂度影响 |
|---|---|---|---|
| GPT-6 Astra | 26.4% | ~70% | 多模态41%，仓库<18% |
| Claude Opus 5 | - | 次席 | 相近下降 |
| Qwen3.8-Max | - | 次席 | 大型任务小模型优势明显 |
| Grok 4.6 | - | 末位 | 最低 |
数据来源为原始测试报告，以当时官方基准为准。实际可用性还受工作环境影响：同一模型在不同代理框架中表现差异达19个百分点。
与传统基准的差距
现有基准如WebCompass-edit已饱和，代理可自行运行、检查并修复代码，多数模型达99%以上分数，模型间几乎无差异。而Co-Design Bench拉开35个百分点差距，突出真实场景的局限。
决策建议：订哪档、卡网还是官方
面对这类真实失败率，开发者需结合项目规模：
- 单一任务小调整：优先Cursor或Claude Code订阅（支持多模态输入）。
- 复杂仓库重构：考虑Windsurf或企业级方案，并搭配人工复核。
- 避免纯代理依赖：建议绑定官方API（如Cursor官方接口或Claude Code），使用独立验证工具确认结果一致性。
风险与边界
AI代理在多任务协同编辑时易遗漏细节，建议严格验证浏览器运行结果，避免依赖单一AI判断。
非法律意见声明：以上内容基于公开研究报告整理，仅供参考，不构成投资、法律或专业建议。实际价格、功能及可用性请以官网实时数据为准。