Mistral的第一个多模式模型Pixtral 12B！或只是释放24GB磁性链接

老铁们，大家好，相信还有很多朋友对于Mistral的第一个多模式模型Pixtral 12B！或只是释放24GB磁性链接和的相关问题不太懂，没关系，今天就由我来为大家分享分享Mistral的第一个多模式模型Pixtral 12B！或只是释放24GB磁性链接以及的问题，文章篇幅可能偏长，希望可以帮助到大家，下面一起来看看吧！

训练后，直接转到模型。

我们都知道，米斯特拉尔团队一直“苛刻，不说话太多”。昨天下午，他们没有任何注释就抛出了磁性链接。

解析此链接后，您可以看到大小总计为23.64 GB，其中包含4个文件，其中最大的是封装的多模式。

快速移动的非正式米斯特拉尔社区将模型上传到了拥抱的脸上。

MAGNET:发布吸引了很多赞美。有些人将其与最近出现在热门话题上的反射模型进行了比较，该模型完全展示了Mistral团队以脚踏实地的方式进行事情的风格：

Pixtral 12b规格和性能

该模型的名称是Pixel-12b-240910。从名称中也可以看出该模型的参数数量为12B。

其中params.jsom列出了模型的相关参数：

如您所见，该模型具有支持10241024尺寸图像的视觉编码器，具有24个隐藏层，并支持高级图像处理。

该型号有40层，14,336个隐藏尺寸和32个注意力头。

此外，Pixtral 12b的词汇具有131,072个不同的令牌，可以说这很大，因此它可以实现非常微妙的语言理解和产生。

从这些参数和配置中也可以看出，PixTral 12b至少具有处理文本和图像数据并实现多模式处理的能力。

PixTral 12B的发布受到了良好的接收，因为人们一直期望开放的模型社区也可以获取易于使用的多模式模型。 Mistral这种磁性链接将我们朝这个方向迈出了一步。

但是，由于该模型刚刚发布，因此它的有效性仍然不清楚，但幸运的是，我们并没有完全没有线索。就在昨天，米斯特拉尔（Mistral）举行了一次峰会，米斯特拉尔（Mistral AI）峰会，包括米斯特拉尔（Mistral）首席执行官亚瑟·蒙斯（Arthur Mensch）和NVIDIA首席执行官Jen Hung在内的演讲者。

在此幻灯片中，我们可以看到Pixtral 12b支持任何大小的图像和128K上下文窗口。此外，该模型还可以处理包含文本和图像的大型文档。

在特定的性能指标方面，尽管PixTral 12b的性能不如GPT-4O和Claude-3.5十四行诗的性能，但它超过了每个基准中的Claude-3 Haiku和Gemini-1.5 8B。

在几种开放的多模式模型中，PixTral在大多数基准测试中表现最佳，仅在DOCVQA上略低于Qwen2 7b。

米斯特拉尔（Mistral）显示了一些特定的pixtral申请案例。

通过OCR将包含数学公式的科学文章的图片转录为降价格式？没有压力！

识别涂抹的手写内容是没有问题的。

提取图像信息并描述图像内容？这已经是多模型模型的基本能力，因此没有问题。

不仅如此，Pixtral可以理解更复杂的图像，并从中提取关键信息和见解：

Pixtral还具有出色的解释和推理能力。就特定指标而言，PixTral 12B的MMMU和MathVista上的多模式知识和推理性能领先于其他参与比较的模型（主要是开放模型，没有GPT-4O和Claude-3.5十四行诗）。多模式的问答性能也很棒，并且处于领先地位。

在某些指标中，多模式的说明合规性和文本理解都很好，并且仅略低于Claude-2 Haiku。

例如，它可以基于DNA图像分析图像以解释DNA的结构（我认为这种能力非常适合学*新知识）：

它还可以基于手绘涂鸦的Web设计草案推理生成HTML代码：

您可以通过拍照并让您回答多项选择数学问题来轻松完成考试论文：

至于如何使用PixTral 12B，如果您的硬件性能足够，您当然可以自己部署；但是Mistral的开发人员关系负责人Sophia Yang还表示，将来将通过Mistral的Le Chat和La平台提供该模型。

Mistral的愿景：使AI有用且有用

他们认为，使AI有用的最重要的事情实际上是系统问题。

但是对于不了解相关技术的普通用户，该系统似乎非常复杂。 Mistral想要做的是简化用户的使用过程并降低用户的使用成本。他们希望将所有复杂的技术零件集成到LA Platforme中，以便用户可以以简单的配置来享受AI带来的便利和效率。

此外，为了使AI具有解决复杂问题的能力，有必要使用用户互动来连续培训AI模型。同时，还必须将新软件不断地集成到AI工具箱中以提高其功能。

目前，Mistral的模型矩阵已经包含各种免费模型，用于一般和科学研究任务。

此外，该公司开发了用于编程任务的Codestral模型，该模型支持80多种编程语言，并且具有出色的性能。但是，应该指出的是，尽管Mistral允许研究人员免费将Codestral用于研究和测试目的，但如果他们想将其投入商业应用程序，但他们需要从他们那里购买商业许可——，这是该公司少数有利可图的项目之一。

米斯特拉尔（Mistral）于今年6月获得了6.4亿美元的投资，其估值为60亿美元，不久之后，该公司发布了公司的旗舰车型Mismtral大2号。

Mistral大2的参数数量为123B，支持多语言和功能调用，并且具有强大的推理和代码功能。尽管总体性能不如当前最佳GPT-4O和Claude-3.5十四行诗好，但它超过了具有405B参数的Llama 3.1。同样，Mistral flow 2也可以免费提供非商业用途。

Mistral团队绝对是AI模型开发领域的清晰流。如今，在AI领域通常关注营销和宣传的地方，Mistral的Twitter有100,000名关注者，但没有跟随任何人。它只有10条推文几乎所有推文都发布了新型号，其首席执行官Arthur Mensch的个人帐户也不活跃。

Mistral AI成立于2023年5月，是法国人工智能创业公司，也是欧洲大型模型开源场的少数明星团队之一。一个有趣的小知识是，由于公司来自法国，le聊天实际上是“猫”，这就是为什么其徽标看起来像猫的原因。

Mistral AI在2023年6月获得了创纪录的1.18亿美元种子回合（占欧洲历史上最大的种子回合）。当然，几天前，由Ilya Sutskever创立的Safe Supertelligence Inc.打破了这一记录。

参考链接：