+86 +86 176 6927 1311 +86 +86 176 6927 1311
新闻中心
近期，GPT-6 Astra 绘制 CAD 的视频在 X 平台上引发广泛关注。
例如，视频中展示的涡轮增压器，其每个零件均独立建模，不仅能够正常旋转，还能一键实现原地拆解与展开，视觉效果令人震撼。
一时间，GPT-6 Astra 在 BenchCAD 测试中取得了高达 95.9% 的成绩，评论区甚至开始热议 CAD 工程师是否面临职业危机。
然而，也有工程师泼了冷水：这些零件，一个都不能直接投入生产线。因为画得像，不代表画得对。
外行看热闹，内行看门道。表面上，模型已能复现 CAD 的视觉界面，但从专业工程师的角度看，这些模型在科学原理、几何结构及部件关系上是否真正准确？是否存在一个专业测评基准，能检验 AI 对三维科学对象的观察与理解能力，并评估其生成的三维对象是否满足科学与工程要求？
最近发现了一个 benchmark，确实能评测 AI 在建筑设计中的 CAD 能力。它会像专业工程师一样，对零件进行逐项检查，从结构关系到几何细节，逐一核验，判断模型生成结果是否符合标准。
这个 benchmark 名为 ScienceVision。 其评测范围不仅涵盖工程制图，还涉及生物、化学、医学影像、建筑和机械 CAD 共 5 个科学领域、22 个子领域，包含 250 道基于真实三维数据构建的题目，要求模型通过自主操作三维对象，完成观察、测量与分析。
表现最佳的 GPT-6-Astra（搭配 Codex）仅获得 0.53 分。满分 1 分。
在 BenchCAD 上拿到 95.9 分的选手，到了三维科学理解与推理的考场上，只过了一半。
ScienceVision 由 UniPat AI 和视觉推理实验室 Elorian AI 开发，是一个基于专家级视觉问答（VQA）的跨学科视觉三维理解与推理 benchmark，团队透露其开发初衷源于一个问题：AI 能否像科学家一样观察和推理？
根据现有结果，评测覆盖了 GPT-6 Astra、Claude Fable 5.1、Gemini 4 Argon、Qwen3.8 Max 等当前 12 个最新、最强的开源与闭源前沿大模型， 但没有一个模型能在五个学科中同时领先。
这些题目究竟有多难，竟让众多模型表现如此不佳？
ScienceVision 的 demo 展示了五个学科各自的检视操作实录，其中使用的 3D 工具按照领域专家处理三维源数据的实际操作方式建模，模拟了最真实的 3D 观察场景。
生物学科的题目：将整个蛋白质隐藏，只保留一个柠檬酸分子及其周围的几个离子，测量它们之间的距离。
化学学科的题目最短，仅需 8 步：框选一个晶胞，利用对称操作观察其逐层堆积方式。
医学影像学科的题目：CT 从三个方向反复切割，寻找肾脏上病灶的边界。
CAD 学科的题目：展示一台叉车，逐一点击零件，统计相同零件的数量。
建筑学科的题目：沿着一条坡道测量长度和高差，判断坡度是否超标。
五段 demo 观看下来，如同各领域的人类专家在审核自己领域的 3D 视觉问题。操作本身并不复杂：旋转、点击、测量，但难点在于每一步都需要先想清楚往哪转、点什么、量哪里，如果没有扎实的观察、理解与推理，很难做出正确判断。
如果只看视频不过瘾，可以亲自尝试。
这五道题的原始文件和检视工具，ScienceVision 的博客已全部开放：用户可以自行点击题目，切换 3D 或平面视图，体验如何通过真实的三维检视过程，评估 AI 的科学观察能力。下方展示上手实测，供大家感受：
题目介绍完毕，再来说说为何要设计这套题目。
过去已有不少 3D 理解与推理基准，涵盖室内场景理解、具身交互、抽象结构推理等方向，但它们主要服务于日常场景感知、机器人操作或工业设计等通用任务。
然而，真正面向科学领域的 3D 理解与推理基准几乎空白，仅有医学影像和机械工程等少数应用场景的专门基准，且尚未形成体系化的科学 3D 推理评测。
但科学研究过程天然对真实三维世界中的观察、推理能力有要求。
这种能力要求贯穿于不同学科的实践中：化学家需要定位原子、测量几何关系；放射科医生需要在不同切片间追踪结构；建筑工程师需要切换视角、排除遮挡、确认构件的连接关系。
这些任务没有一项是看一眼图就能完成的。人类科学家需要根据过往经验，决定往哪看、怎么看、量什么，看完了再用专业知识下结论。对于 AI Scientist 而言，道理相同。
ScienceVision 考察 AI 的逻辑也一样：题目和数据摆在眼前，自己决定看哪里、怎么查。其中的关键之处类似于「斯坦门茨画线」：画一条线值 1 美元，知道在哪儿画线值 9999 美元。这就能看出哪个模型更有水平，而可靠的观察和理解，正是检验的第一步。
在过往科学领域 3D 理解和推理的评测方面，不同学科的问题设定、任务输入和评估方式五花八门，例如 3D 文件格式不统一、渲染交互逻辑不一致、表达形式也各不相同。
ScienceVision 要填补的正是这个空白，打造一个统一的跨学科 3D 视觉理解评测。
ScienceVision 涵盖五个学科：生物学、化学、医学影像、机械 CAD 和建筑学。每个学科 50 道题，共 250 道，横跨 22 个子领域。
每道题由四部分组成：一份真实的 3D 源数据（分子坐标、CT 体数据、机械装配体或建筑模型），一个领域问题（看什么、在哪找、用什么单位和坐标），一份作答要求（返回什么、什么格式），再加一个专家标好的参考答案。
答案采用确定性规则核验，不使用语言模型作为裁判。没有「大致正确」的说法，达到就是达到，未达到就是未达到。
一个带确定性校验的 benchmark，还蕴含另一层潜力：它几乎可以原地变成一个强化学习环境：答对给奖励，答错不给，不需要另一个模型当裁判。
不过，设计这套题目本身极为困难。
首先，要选出科学上有意义、确实依赖三维证据的问题。 构题需要从具体科学对象出发，明确观察目标、判定条件和所需证据，并确认题目能在给定环境中解答。每道题都必须同时满足专业上成立、视觉目标清晰、答案可复核。
其次，要让不同领域的数据都能被正确观察和测量。 分子坐标、CT 体数据、机械 CAD 和建筑模型具有不同的格式、尺度、坐标约定和操作方式。在转换与展示过程中，需保留关键结构信息，并提供适用于各类对象的查看、隔离、切片和测量能力。
最后，要依靠领域专家建立可信的答案和证据过程。 专家需检查问题的真实性和相关性，实际观察对象、计算或确认答案，记录关键步骤，并参与审核与返修。五个领域的专业规则不同，这些工作需要相应领域的知识和经验。
整套流程是机器和人接力完成的。
先由自动化管线出题：从三维资产库中挑选适合出题的对象，在查看器中测试能否正常查看和测量，再按模板生成候选题，经过规则筛选后打包。
然后由专家接手：在 3D 标注平台上审题、改题，亲自上手旋转、隔离、测量，写下参考答案，操作轨迹同步录制，最后通过质量审核，不合格的退回。专家退回的意见又反馈给出题管线，使其下一轮减少相同错误。
出题、专家审核、自动修题、改进管线，反复循环，才得到这 250 道题。
最终，这套题的质量依赖于人。
UniPat AI 搭建了覆盖五个领域的专家平台，维护 66 名领域专家，累计投入 482.98 小时。其中化学 113 小时，机械 CAD 116 小时，医学影像 103 小时，建筑 77 小时，生物 74 小时。
专家们审查问题、标注答案、记录操作过程，并参与多轮审核与返修。
这恰好呼应了 ScienceVision 的核心定位：它要测的是 AI 是否具备专家级的观察能力，因此答案本身需由专家建立才更有说服力。
前面 demo 中的操作记录，250 道题每一道都附带了，并逐步保存了关键帧。
这些记录将科学观察从只看得到结论的黑箱，变成了可逐步回放的过程。未来要训练 AI 学会「看」，这就是现成的对标数据。
在考法上，ScienceVision 在同一套 250 道题上比较了三种证据获取方式：
第一种，给模型原始三维数据，让它自己写代码分析。 相当于给了全部原始实验数据，由模型自行计算。
第二种，在数据基础上再提供一套交互检视工具，可旋转视角、隔离结构、切片浏览、测量距离和角度。 相当于不仅给了数据，还给了显微镜。
第三种，只给六张固定角度的二维渲染图。 看模型能从照片中看出什么。
三种方式使用同一套评分标准。
这可以直接回答一个问题：数据更多、工具更全，模型的表现是否会更好？
来看结果，最高分 0.53（GPT-6-Astra 搭配 Codex），刚过满分的一半。而且这并非答对率，而是包含部分得分的平均指标，真正完全答对的比例更低。
学科间的差异比总分更有趣。
没有模型能在五个学科中全面领先。GPT-6 Astra 在建筑、机械 CAD 和化学三科领先（0.458、0.580、0.609），生物学科被 Claude Fable 5.1 以 0.650 超越，医学影像则是 Claude Opus 5.5 以 0.399 领先。
CT 本来就是一叠切片，放射科医生读的也是切片，模型训练时见过海量的二维医学影像。
但面对一个带轴序和体素索引的三维数组，模型就不那么熟悉了。
只给六张固定角度的渲染图，分数下降更明显：最好的 Claude Fable 5.1 也只有 0.30，GPT-6 Astra 0.25。
换句话说，给照片，模型看不出来；给三维数据，分数虽有所提升，但论文指出，这些分可能是代码从坐标中计算出来的，是否算「看见了」仍存疑。
更扎心的是，给工具也一样。
榜单前五的模型中，加上交互检视工具后涨幅最大的 GPT-6.1 Sol 也只涨了 0.02，GPT-6 Astra 两种设置差不到 0.01，Claude Opus 5.5 还下降了 0.02。
论文中还提到一个细节：即使在工具模式下，模型仍会去读取原始坐标文件。也就是说，给它显微镜和数据表，它选择数据表。
医学影像学科最出人意料，模型的操作次数是专家的三倍左右，得分却是五个学科中最低的。
这表明当前的前沿模型即使获得最充分的 3D 数据和工具支持，面对真实科学任务的观察与推理，仍差距甚远。
操作次数多，不代表会观察、会推理。
在 ScienceVision 之前，科学多模态评测并非没有，但大多只关注一个学科，只看二维图片，评分规则也各自为政。
ScienceVision 的独特价值可归纳为三件事：
第一，题目是真正三维的。 模型拿到的是分子坐标、CT 体数据、机械装配体、建筑模型等源文件，而非平面截图。答题需用领域知识解释三维结构证据，有些题还需先通过观察识别目标，再结合拓扑和几何推理，环环相扣。
第二，工具是参照专家工作流设计的。 视角切换、目标隔离、切片浏览、科学测量等检视操作通过 MCP 开放给模型，具体功能取决于查看器。看哪、怎么看、量什么，由模型自行决定，无人替它挑选证据。
第三，评分是确定性的，五个学科采用同一套标准。 每道题有参考答案和预设规则，答案各组成部分分开核验，再按模型配置和学科汇总得分。不依赖另一个模型打分，化学分子和建筑构件的成绩，首次能放在一起比较。
与之最相关的 SciVisAgentBench 同样支持三维交互检查，但评测目标不同：
ScienceVision 在五个学科中均采用同一类问题，即受领域知识约束的结构性问题，加上结构化的领域问题和逐题参考答案评分；SciVisAgentBench 则主要围绕科学可视化软件中的任务展开，评估 Agent 生成的可视化与分析结果是否符合任务要求。
可以说，ScienceVision 首次在统一框架下衡量出了 AI 三维科学观察的能力边界。
知道差距在哪，才知道如何追赶。
下次若有人宣布「AI 科学家来了」，不妨先让它完成这 250 道题再说。
本文来自微信公众号“新智元”，作者：ASI启示录，36氪经授权发布。