春暖花开sex8 阿里开源首个视觉推理模子，打败GPT-4o，网页一度404

过年关啦！阿里奉上了本年终末一份礼物——春暖花开sex8

"眼睛"模子 QVQ，其中 V 代表视觉。它只需读取图像和领导，就不错开动念念考。

I ’ m watching you！

据先容，这可能是各人第一个视觉推理模子，也不错把它意会为上个月开源的阿里版 o1 模子 QwQ 的视觉版块。

不错照管数逝世生等各边界问题。

读梗图、数鸭子也不在话下。

当今该模子处于本质阶段，绽开测试。

后果可能因为打听过多，网页一度还 404 了。

从性能进展上看，QVQ 在 MMMU 上的得分为 70.3，这一后果栽植 GPT-4o、Claude 3.5 Sonnet，但比 o1 模子还差了那么少量。

官方给了几个演示 Demo，让我们好好感知一下它的推理身手。

最初来看这说念数学题春暖花开sex8。

解题念念路如下：

再来个几何题，算算这个沙发的面积。

它的推理历程如下：

高中化学题：图片中的滤液 E 是什么化学物资？

它的谜底是：硫酸亚铁溶液。

他们在四个数据集对眼睛模子 QVQ-72B-Preview 进行了评估，包括 MMMU、MathVista、MathVision、OlympiadBench，主要考研数学多模态推理以及空洞意会推理方面的身手。

QVQ-72B-Preview 在 MMMU 基准测试中得回了 70.3 分，大猛栽植了其前身 Qwen2-VL-72B-Instruct。

此外，在其余三个以数学和科知识题为重心的基准测试中，该模子也进展出了超卓的性能，削弱了与 o1 模子之间的差距。

不外当今该模子属于是团队的本质究诘模子，不是格外结识，有几个箝制需要瞩目。

话语羼杂和代码切换：该模子可能会未必地羼杂话语或在话语之间切换，从而影响回答的显然度。

递归推理：模子可能会堕入轮回逻辑阵势，产生冗长的复兴而无法得出论断。

安全和说念德方面的筹议：该模子需要加强安全模范，以确保性能可靠和安全，用户在部署时应严慎。

性能和基准箝制：尽管该模子在视觉推理方面有所阅兵，但它不成总共取代 Qwen2-VL-72B-Instruct 的功能。此外，在多智力视觉推理历程中，模子可能会谨慎失去对图像本色的关爱，从而导致幻觉。

好好提防针打了，那我们淡淡实测一波。

比如这说念教诲谷歌版 o1 的题目：

如何诈欺这些数字加起来就是 30？

后果它识别出来了这几个球对应的数字，没挑升志到 9 号球不错翻转成 6 号球，然后就堕入无穷的念念考之中。。。

在 blog 终末，他们也娇傲了接下来的主义——增强视觉话语基础模子，使其具备基于视觉信息进行深度念念考和推理的高档身手。

把本事拉长，他们筹画是将更多的模态整合到协调的模子中，大致应付复杂的挑战并参与科学探索。

（模子特地是 AI For Science？）

参考集结：

[ 1 ] https://x.com/Alibaba_Qwen/status/1871602879972405626

[ 2 ] https://qwenlm.github.io/blog/qvq-72b-preview/

—  完  —

点这里� � 关爱我，铭刻标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日相逢 ~