马斯克展示Grok-1.5 Vision：多模态，能理解真实世界

与上一代1.0开源版本相比，Grok-1.5与GPT-4一样加入了Vision视觉功能可以深度理解真实世界，并进行数据解读、转换等。例如，给出一张蒙娜丽莎的图片，让其讲解该图片的来历以及故事等。

根据x.ai公布的测试数据显示，Grok-1.5 V的真实世界理解能力超过了GPT-4V、Claude 3 Opus 、Gemini Pro 1.5等知名多模态模型。

x.ai表示，Grok-1.5 V将很快向早期的测试者和现有Grok 用户推出。

Grok-1.5 V能力展示

用户可以向Grok-1.5 V发送一张图片，然后基于该内容进行文本问答。例如，让Grok-1.5 V解读一下职场非常有名的两张图片。

Grok-1.5 V：这张图是初创公司和大公司之间的幽默比较。在左侧，标有“初创公司”的标签上，有一群人正在一起挖坑。他们都在积极参与，坑已经相当深了。

在右侧，标有“大公司”的标签上，一群人站在一个洞周围。然而，与初创公司不同的是，实际上只有一个人在挖坑，而其他人则在观看或从事其他活动。

这张图片中的幽默来自于对初创公司和大公司之间差异的夸大。在初创公司中，通常会有一种紧迫感，每个人都被期望直接为手头的任务做出贡献。

相比之下，大公司通常被描述为官僚主义较多，所有团队成员对每个项目的直接参与较少。

Grok-1.5 V基本很好的解读了这张图片的物理信息以及内涵的职场问题。

Grok-1.5 V不仅能解读信息，还能进行数据转换，例如，将一张表格转换成csv格式。

Grok-1.5 V也能将一张草图直接转换成真实的代码：你能把这张图片翻译成Python代码吗？

Grok-1.5 V：这个流程图描述了一个简单的猜谜游戏，其中计算机生成一个随机数，用户必须猜测它。下面是代表流程图中逻辑的 Python 代码。

此代码将按照流程图中的描述运行猜谜游戏。系统将提示用户输入他们的猜测，直到他们猜出正确的数字。

Grok-1.5 V测试数据

研究人员将Grok-1.5V在MMMU、Mathvista、TextVQA、RealWorldQA等知名测试平台中，与GPT-4V、Claude 3 Sonnet、Claude 3 Opus和Gemini Pro 1.5同类竞品进行了综合对比。

结果显示，Grok-1.5V的数学、图表理解、真实世界理解和文本阅读的能力高于其他模型。

此外，Grok-1.5还能处理更长、更复杂的提示，同时随着上下文窗口的扩大，仍能保持其指令跟踪能力。

在之前公布的 "大海捞针"（Needle In A Haystack，NIAH）评估中，Grok-1.5展示了强大的检索能力，可检索长度达 128K 字节的上下文中的嵌入文本，并取得了完美的检索结果。