大模型转行土木首秀:打灰人读改图纸评估基准

当前AI竞争进入白热化，大语言模型早已不是只会刷题背书的“学霸”角色。

GPT-4o能解物理奥赛题，DeepSeek能快速搭建网站——但这些号称“专家级”的大模型，能否真正下工地干活？在钢筋混凝土的图纸世界中，它们是得力助手，还是纸上谈兵？

答案尚未明朗，但评测的第一步已经迈出。

加拿大麦吉尔大学AIS实验室与加州大学圣芭芭拉分校（UCSB）联合发布了面向工程自动化的大模型评估基准——DrafterBench。这是首个针对“一线工程图纸修改”设计的大规模评测套件，目标明确：检验现有LLM能否胜任土木工程中的真实操作任务。

论文：https://arxiv.org/abs/2507.11527
代码：https://github.com/Eason-Li-AIS/DrafterBench
数据：https://huggingface.co/datasets/Eason666/DrafterBench

为何需要DrafterBench？

工程图纸修改是土木工程与建筑设计领域中最耗时、最高频的重复性工作，也是自动化呼声最高的环节。每天，数以万计的工程师和制图员需反复处理“移动这根梁”、“将管道直径增大几毫米”、“为构件补充标注”——琐碎但责任重大。

这类工作量大、标准严、容错低，技术门槛不算高但对执行力要求极高——需要理解指令、把控细节、串接多步骤操作。研究团队由此提出：如果大模型能读懂图纸指令、调用工具链、精准修改图元，它将不再是“写PPT的好手”，而是工程一线的真实生产力。

DrafterBench的设计方法

DrafterBench的核心任务是图纸修改。它在20个真实工程项目中收集并设计了1920个高质量任务，覆盖12种指令类型，模拟了不同难度与风格的真实工程指令。

它不要求模型机械执行，而是从四个关键能力维度进行评测：

结构化数据理解——模型能否从多样化的指令语句中精准提取关键参数；
工具调用能力——模型能否组合多个工具形成高效操作链，并正确掌握调用顺序与参数；
指令跟随能力——面对包含多个修改目标的长指令，能否做到任务不遗漏、执行不中断；
批判性推理——模型能否识别指令中的信息缺失或不合理之处，主动补全模糊细节、纠正错误。

这不是纸上谈兵，而是工程实战。

DrafterBench的评估机制

在DrafterBench中，模型必须通过“代码调用工具”来完成图纸修改。这些工具涵盖图元编辑、标注调整、绘图逻辑等，相互之间存在输入输出依赖，形成环环相扣的“工程任务链”。

关键问题在于：工具调用是否正确？组合是否合理？中间步骤是否成功传递？是否存在冗余或错误命令？

仅凭图纸输出无法判断。为此，DrafterBench设计了一套对偶工具系统：每个工具都配备一个“替身”，不实际修改图纸，但记录调用顺序、参数值、变量状态，并以结构化JSON输出，完整还原模型的每一步操作路径。

换言之，它不只看模型是否答对，更关注它为何答错、哪一步出错、错误根源。

模型表现如何？结果喜忧参半。

团队评测了主流SOTA大模型：OpenAI GPT-4o / o1系列、Claude 3.5 Sonnet、Deepseek-V3-685B、Qwen2.5-72B-Instruct、LLaMA3-70B-Instruct。

综合来看，这些模型得分普遍超过65分，说明它们具备一定工程任务处理能力，尤其是在简单指令执行上表现稳定。OpenAI o1以79.9分领跑，Claude 3.5 Sonnet（73.79分）和Deepseek-V3-685B（73.09分）紧随其后。

但整体水平远未达到工业一线对执行精度与流程完整性的要求。更值得注意的是，不同模型在四大能力维度上表现差异显著。

例如，在结构化数据理解任务中，模型整体表现稳定，对语言风格变化鲁棒性较强。但在工具调用方面，准确率波动明显，平均差距达9个百分点。指令跟随能力上，OpenAI o1和Claude 3.5 Sonnet抗噪声能力突出，能保持基本任务完整性。而在批判性推理任务中，模型间能力分化显著——OpenAI o1擅长识别信息缺失、筛选关键信息，Qwen2.5更擅长细节补充，其余模型波动较大。

研究团队还使用自动化错误分析工具，对每个任务的失败原因进行结构化溯源。结果发现：常见错误包括参数定义不清、变量传递失败、函数调用结构错乱、工具选择偏差以及多工具组合逻辑混乱。更关键的是，即使多个步骤执行正确，只要某一关键环节出错，最终图纸修改就会失败。这解释了为什么多数模型单项能力准确率维持在60%左右，但整体目标修改完成度仅40%上下。

结论与未来方向

评测结果表明：当前大模型已具备拆解复杂任务结构、调用工程工具的能力，但远未能稳健掌控完整任务链的所有细节，对实际场景的适应能力仍不足以支撑工程一线需求。

如果说以往的大模型评测多停留在“会不会”层面，DrafterBench的贡献在于首次让模型接受“干不干得好”的落地考核。工程现场需要高容错、强判断、懂规则、能执行的助手，DrafterBench正是为此提供数据支持与路径验证。

接下来，研究团队计划将任务类型扩展至图纸校审、规范检测、施工日志智能生成等更多工程应用场景，持续拓展模型能力边界。

你有模型，DrafterBench有任务。不妨测试你的模型，能否在图纸上真刀真枪地干。