马斯克新作！Grok-1.5V多模态模型震撼发布：数字与物理世界完美融合

  新智元报道  

编辑：编辑部

【新智元导读】马斯克xAI的多模态模型Grok-1.5V横空出世了！不仅多项基准测试超越GPT-4V，而且看懂梗图写Python代码也都不在话下。并且，为了评估模型对于真实世界的空间理解，xAI此次还推出了新基准RealWorldQA。

马斯克的第一代多模态模型Grok-1.5V，终于来了！Grok 1.5V，号称是能连接数字世界和物理世界。除了文本功能，它还能处理文档、图标、屏幕截图和照片之类的各种视觉信息。很快，所有早期测试者和所有Grok用户就能用上Grok 1.5V了。英伟达高级科学家Jim Fan发现了Grok-1.5V的「最大亮点」：在他看来，Grok-1.5V最令人感兴趣的，就是解决自动驾驶边缘案例的潜力。如果使用语言进行「思维链」，帮助汽车分解复杂场景，用规则和反事实进行推理，解释其决策，Grok-1.5V就能将像素->动作映射提升为像素->语言->动作。由此，特斯拉FSD V13就很有可能会理解语言Token！特斯拉的优势是，具有高度成熟的数据管线，因此，就不难用高质量的人类解释痕迹来标记大量边缘案例，在多模态FSD推理上，微调Grok的表现就很有可能会远胜于GPT-4V和Gemini。你可能会说，以前Wayve的LINGO-1不是也有类似的想法么？但别忘了，特斯拉正在旋转的，是一个无与伦比的数据飞轮，规模远超以前。马斯克也适时地出现在了留言区，进一步解释道——有两种数据源可以无限扩展，合成数据和真实世界视频。前者存在一个真伪的问题，而后者则不存在。有网友表示，好家伙，这听起来是通往AGI最可行的路径了！具有显式语言推理的多模态模型，始终如一地推断世界模型。

模型能力

在xAI的官网上，对于Grok-1.5V是这样介绍的。它可以和GPT-4V、Claude 3 Sonnet、Claude 3 Opus等这些最顶尖的多模态模型对打。无论是多学科推理，还是文档理解、科学图表、表格、截图和照片等多个领域，Grok-1.5V都和它们有的一拼。尤其令人惊喜的，是它在理解物理世界时表现出的卓越能力。在RealWorldQA基准测试中，没有思维链提示、零样本设置的情况下，用以下数据集对Grok进行评估，可以看到Grok的表现比同类模型更好。下面7个具有代表性的例子，更说明了Grok 1.5V在不同场景中的良好表现。

1. 根据图表编写代码

下图给出了一个简单的猜谜游戏的流程图，Grok可以根据流程图具体内容，使用python代码实现该流程。用户：

你能把它翻译成Python代码吗？

Grok：

当然！这张流程图描述了一个简单的猜谜游戏，其中计算机生成一个随机数，而用户需要猜出它是什么。下面是表示流程图中逻辑的Python代码：

    

     

     

     

     

     

     

     

     

     

     

     

     

    
import randomdef guess_number(): # Generate a random number between 1 and 10    target = random.randint(1, 10)    while True:        guess = int(input("Guess a number between 1 and 10: "))        if guess == target:            print("You won!")            break        else:            print("Wrong guess, try again!")if __name__ == "__main__":    guess_number()

这段代码将运行流程图中描述的猜谜游戏。在用户猜出正确数字之前，系统会一直提示用户输入猜测的数字。

2. 计算卡路里

根据食品的营养配料表，Grok可以知道该食品一份份量是3片、含有60卡路里的热量，由此计算出，用户给出5片该食品的卡路里总数是100。用户：

5片含有多少卡路里？

Grok：

如果一份包含3片，总热量为60卡路里，那么5片的热量大约是100卡路里。首先，确定每片的热量：60卡路里÷3片=20卡路里/片。接着，将每片的热量乘以片数：20卡路里x5片=100卡路里。

3. 从绘画到睡前故事

Grok可以根据画作的内容，讲述一个简短的睡前故事。比如下面这个随笔涂鸦：用户：

这是我儿子画的，你能根据他的画讲一个睡前小故事吗？

Grok：

很久很久以前，在一个充满冒险与奇迹的土地上，生活着一个勇敢的小男孩，名叫Timmy。他与家人住在一个温暖的小屋里，最喜欢的事情就是探索周围的世界。在一个阳光明媚的日子里，Timmy决定去附近的森林探险。他准备了自己最爱的零食、一只指南针和一本信赖的笔记本，用来记录他即将见到的所有奇妙事物。深入森林后，Timmy发现了一条在阳光照耀下闪闪发光的神奇河流。河流的迷人景致让他决定做一只小纸船，把它放在水面上，作为对森林精灵的一份特别的问候。Timmy小心翼翼地折好纸船，并在上面画了一个笑脸，寄托了他对森林精灵的喜爱和祝福。随后，他轻轻地把纸船放在河流中，目送它随水漂流而去。夕阳西下，Timmy知道该回家了。他回想起在森林中度过的这一天，知道这段美好的记忆将永远伴随着他。回到家，Timmy向家人讲述了他的冒险，家人听后都感到非常高兴，并相信他未来定会经历更多精彩的冒险。于是，带着满心的爱与梦想，Timmy慢慢进入了梦乡，期待在他的想象世界里探索新的冒险。

4. 看懂梗图

下面这张梗图，左边是初创公司，右边是大公司，讲的是什么意思呢？小编第一眼是没看懂。看完Grok的解释，才恍然大悟。用户：

我不是很理解这幅图，请解释一下。

Grok：

这幅图幽默地展示了初创企业和大公司在工作方式上的差异。在左侧的「初创企业」里，一群人齐心协力挖掘一个深洞，每个人都在积极地参与。而在右侧的「大公司」里，只有一人在挖洞，其他人只是在旁边看着。这幅图的幽默之处在于夸大了两种组织形态的不同。初创企业通常会让每个人都直接参与到核心任务中，而大公司则可能因为其庞大的结构和官僚体制，使得团队成员无法接触到项目的每一个细节。

5. 将表格转换为CSV

Grok可以将表格内容转换成CSV格式。用户：

请将这个表转换为CSV格式。

Grok：

图像中的表格可以转换成CSV格式，如下所示：

    

     

     

     

     

     

     

     

     

    
medal,name,sport,event,date21 gold,El Amin Chentouf,Athletics,Men's marathon - T13,11 September31 gold,Mohamed Amguoun,Athletics,Men's 400m - T13,15 September41 gold,Azeddine Nouiri,Athletics,Men's shot put - T34,15 September52 silver,Mahdi Afri,Athletics,Men's 400m - T12,9 September62 silver,El Amin Chentouf,Athletics,Men's 5000m - T13,15 September73 bronze,Mahdi Afri,Athletics,Men's 200m - T12,17 September83 bronze,Mohamed Lahna,Paratriathlon,Men's PT2,10 September

请注意，CSV格式不支持样式或格式化，因此信息以纯文本格式显示。

6. 地板上的腐烂木头，都能给出建议

地板上的木材腐烂了怎么办？照片拍给Grok，它可以帮我们判断腐烂情况，还能给出合理的处理建议。用户：

我地板上的螺丝周围出现了这些洞。是腐烂了吗？我应该更换木板吗？

Grok：

这些木板似乎已经开始腐烂。从螺丝周围出现的孔洞可以看出，这是木材腐烂的典型迹象。为了确保地板的安全并延长使用的寿命，建议你更换那些已经受损的木板。这样做可以避免地板进一步的损害，并保持其结构的稳固。如果你不知道如何更换木板，可以寻求专业地板建造商或承包商的帮助。他们会对损害的程度进行评估，并为你提供关于地板维护的专业建议。

7. 解决编码问题

编码问题，Grok-1.5V也是不在话下。用户：

你能写出解决这个问题的Python代码吗？

Grok：

    

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

    
def find_triplets(nums):    result = []    nums.sort()        for i in range(len(nums) - 2):        if i > 0 and nums[i] == nums[i - 1]:            continue                target = -nums[i]        left = i + 1        right = len(nums) - 1                while left < right:            if nums[left] + nums[right] == target:                result.append([-target, nums[left], nums[right]])                left += 1                right -= 1                while left < right and nums[left] == nums[left - 1]:                    left += 1                while left < right and nums[right] == nums[right + 1]:                    right -= 1            elif nums[left] + nums[right] < target:                left += 1            else:                right -= 1        return result

对现实世界的理解

开发有用的现实世界AI助手，提高模型对物理世界的理解是至关重要的。为了实现这一目标，研究团队还推出了一个新的基准——RealWorldQA。该基准可以用于评估多模态模型对于基本现实世界空间的理解能力。虽然当前基准中的许多示例对人类来说理解比较容易，但对于前沿模型来说还是具有一定的挑战性。最初发布的RealWorldQA包含700多张图片，每张图片都有一个问题和易于验证的答案。例如，如果我们问它：图片中的披萨刀和剪刀哪个物体更大？Grok给出的答案是：它们的大小差不多。从当前车道可以去哪里？A.左转 B.直走 C.左转直行 D.右转Grok会选A。从轿车前方的摄像头来看，是否有足够的空间绕过前面的灰色轿车？Grok给出的答案是：是。从这个图片来看，恐龙是朝向哪个方向？Grok回答：东。除了其他真实世界的图像外，该数据集还包括从车辆上拍摄的匿名图像。研究团队将该数据集进行了开源，并希望随着多模态模型的改进而不断扩展该数据集。最后，xAI官网总结道，凭着提高多模态理解和生成能力，它们将逐渐逼近构建能够理解宇宙的有益AGI。而接下来几个月里，估计我们还会看见图像、音频、视频等多模态上，这两项能力的重大改进。参考资料：https://x.ai/blog/grok-1.5vhttps://twitter.com/DrJimFan/status/1779558822543229221