马斯克新作！Grok-1.5V多模态模型震撼发布：数字与物理世界完美融合

马斯克的第一代多模态模型Grok-1.5V，终于来了！

Grok 1.5V，号称是能连接数字世界和物理世界。

除了文本功能，它还能处理文档、图标、屏幕截图和照片之类的各种视觉信息。

很快，所有早期测试者和所有Grok用户就能用上Grok 1.5V了。

英伟达高级科学家Jim Fan发现了Grok-1.5V的「最大亮点」：在他看来，Grok-1.5V最令人感兴趣的，就是解决自动驾驶边缘案例的潜力。

如果使用语言进行「思维链」，帮助汽车分解复杂场景，用规则和反事实进行推理，解释其决策，Grok-1.5V就能将像素->动作映射提升为像素->语言->动作。

由此，特斯拉FSD V13就很有可能会理解语言Token！

特斯拉的优势是，具有高度成熟的数据管线，因此，就不难用高质量的人类解释痕迹来标记大量边缘案例，在多模态FSD推理上，微调Grok的表现就很有可能会远胜于GPT-4V和Gemini。

你可能会说，以前Wayve的LINGO-1不是也有类似的想法么？但别忘了，特斯拉正在旋转的，是一个无与伦比的数据飞轮，规模远超以前。

马斯克也适时地出现在了留言区，进一步解释道——

有两种数据源可以无限扩展，合成数据和真实世界视频。前者存在一个真伪的问题，而后者则不存在。

有网友表示，好家伙，这听起来是通往AGI最可行的路径了！具有显式语言推理的多模态模型，始终如一地推断世界模型。

模型能力

在xAI的官网上，对于Grok-1.5V是这样介绍的。

它可以和GPT-4V、Claude 3 Sonnet、Claude 3 Opus等这些最顶尖的多模态模型对打。

无论是多学科推理，还是文档理解、科学图表、表格、截图和照片等多个领域，Grok-1.5V都和它们有的一拼。

尤其令人惊喜的，是它在理解物理世界时表现出的卓越能力。

在RealWorldQA基准测试中，没有思维链提示、零样本设置的情况下，用以下数据集对Grok进行评估，可以看到Grok的表现比同类模型更好。

下面7个具有代表性的例子，更说明了Grok 1.5V在不同场景中的良好表现。

1. 根据图表编写代码

下图给出了一个简单的猜谜游戏的流程图，Grok可以根据流程图具体内容，使用python代码实现该流程。

用户：

你能把它翻译成Python代码吗？

Grok：

当然！这张流程图描述了一个简单的猜谜游戏，其中计算机生成一个随机数，而用户需要猜出它是什么。下面是表示流程图中逻辑的Python代码：

import random
def guess_number(): # Generate a random number between 1 and 10
    target = random.randint(1, 10)
    while True:
        guess = int(input("Guess a number between 1 and 10: "))
        if guess == target:
            print("You won!")
            break
        else:
            print("Wrong guess, try again!")
if __name__ == "__main__":
    guess_number()