人工智能真的能够跟工程师一样, 去看懂那些三维的零件吗? 在一项包含五个学科、专门针对科学进行三维观察的测试里面, 有12个前沿的大模型参与进来, 结果它们全部都未能合格, 这下子, “AI科学家”的这个说法所带有的宣传色彩, 就被彻底地降温了。
01.工程师的质疑
从表面上来看, 大型语言模型已经具备了复刻计算机辅助设计视觉界面的能力。然而专业的工程师指出了其中的问题。这些模型在处理科学原理、几何结构以及部件关系等方面, 未必能够保持准确。能够画出相应的画面, 并不代表其真正理解了内在的结构。
这个问题，在2026年10月份, 被正式地进行了量化。也就是在这个时间点, UniPat AI联合视觉推理实验室Elorian AI发布了ScienceVision。这是一个基准测试内容。它是基于什么来的呢是基于专家级的视觉问答能力的跨学科三维理解与推理的基准。
02.跨学科三维基准
这个ScienceVision覆盖了化学, 医学影像, 机械装配, 建筑等等五个学科, 每一道题都是由真实的三维源数据, 领域问题, 作答格式要求以及专家给出的参考答案这四部分所组成的。
团队表示, 他们的出发点是想要回答一个关键的问题, 这个问题的内容是人工智能这个东西, 到底能不能像科学家那样去进行观察, 并且进行推理动作, 而不是说仅仅只是依靠那些代码, 从坐标数据里面直接计算出对应的答案结果。
03.专家检视流程
在那个演示的例子里面, 人工智能必须要去做完一些事情, 这些事情包含旋转那个观看的角度, 还有把结构给隔离开, 再进行一种叫做切片浏览的动作, 另外也要去测量距离以及测量角度, 这些用来处理3D的工具, 它们在设计的时候, 是完全按照领域专家在处理那种三维的原数据时候所实际采用的操作方式来进行建模的。
动作本身这个事, 它其实并不麻烦, 也就包括转、点、量这几个环节, 但是呢, 每一步都必须要先去做一个判断, 去确定到底是往哪个方向去转, 究竟要点的是什么, 以及要在哪里进行测量这些方面, 如果不是说要经过非常扎实的观察和理解, 再加上推理这个过程的话, 那就很难去做出那个正确的判断。
04.十二模型无一全优
这次的评测里, 把那些现在最强的、又分了开源的和闭源的模型, 一共挑出来了12个出来。这里面具体包括了名为GPT-6 Astra的模型, 还有名叫Claude Fable 5.1的那个, 再加上Gemini 4 Argon, 以及Qwen3.8 Max等这些具体的实例。
现实中不存在哪一个模型有能力在五个不同的学科领域里面都做到首屈一指, 具体情况在医学影像方面表现得非常明显, 就是那些模型进行操作的时候次数大概是专家的三倍, 可最终拿到的分数却属于五个学科里头最靠后的一个。
05.加了工具也救不了
这篇论文设计了两种不同的测试情境。在这些情境中, 一种设置是仅仅向模型输入三维的数据信息, 而另一种设置则是在此基础上, 进一步为用户提供了用于交互式的检查与查看功能。在引入了该种交互式工具之后, 各个模型的绩效表现出现了微小的变动。
具体而言, GPT-6.1 Sol这一模型的分数仅上升了0.02的幅度。与此同时, GPT-6 Astra这一模型的得分变化甚至不足0.01。相比之下, Claude Opus 5.5这一模型则在加入工具后表现出了0.02分数的下降。
更为关键的一点在于, 即便是在所谓工具模式这一情境之下, 该模型仍旧会采取直接读取原始坐标文件的这样一种做法, 所以说, 分数呈现出来的提升这种状况, 很有可能仅仅只是由代码进行计算所得出的一种结果, 至于这到底算不算是真正意义上的完全看清并且理解其中的内容, 目前来说依然还是一个具有极大不确定性或者说需要进一步探讨的事情。
06.二百五十道题已开放
ScienceVision blog已经开放了全部 250 道题的原始文件和检视工具。用户可以根据需要切到 3D 视图或平面视图。通过这种方式, 他们可以亲手体验真实的三维检视过程。
这个基准还可以在当前地方直接转化成强化学习的环境情况, 回答正确就给予奖励, 回答错误就不给任何奖励, 不需要借助于另一个模型充当裁判这样的角色, 从而为让训练里面的人工智能学会去进行观察这个过程, 提供出来现成的并且可以直接用来做比较对照的数据资源。
当将来还有人站出来宣布人工智能科学家已经来临的时候, 你会倾向于先要求它完成哪一个具体的题目, 然后再去相信这个说法呢? 如果你觉得这个话题有价值, 请你帮忙点个赞或者分享一下。
