LLaVA 大型语言和视觉助理
- 视觉对话，达到 GPT4 85%的水平
- Science QA 的准确率达到新 SoTA
- 提供了官方demo地址，直接可用，速度很快，（而 GPT4 的图片功能还没开放）
官方介绍和demo https://llava-vl.github.io

Meta ImageBind 多模态模型开源，我们离AGI又进一步。
当人类看到一辆行驶中的火车，不仅会使用视觉，还会听到声音，感知距离，感知速度。

ImageBind 也是类似，它将六种数据，文本，音频，视觉，运动，温度，深度，嵌入到一个向量空间，让模型像千脑智能那样，调动不同的感知区域进行「交谈」并做出全面的解释和判断。

（这与文心一言等模型每个模态有自己嵌入空间的所谓多模态截然不同。）

一些应用（见图）：
- 通过火车的声音、图像、深度信息，生成准确的文字描述
- 通过鸽子的图片和摩托的声音，减缩到摩托车和鸽子的图像
- 通过企鹅的声音，生成企鹅的图像

另一些可能性：
- 拍摄一段海洋日落的视频，自动生成完美的音频剪辑。
- 通过静态图像和音频组合，创建动画。
- 通过Make-A-Video生成视频时，自动加上背景音。（飞狗图）

未来不止于此，模型还可以引入更多的模态，如触觉、语音、嗅觉和大脑 fMRI 信号，以增强模型对实体世界的感知。

https://ai.facebook.com/blog/imagebind-six-modalities-binding-ai/

今天必将是 Google 刷屏的一天，我就说下重点吧：
1.PALM2相比PALM，模型参数更少，但是效果反而远超前代。实力科学炼丹。
2.在代码能力上和GPT4差距仍然巨大， 37/85的差距
3.Flan版本的数学能力超过GPT4一点点
4.除了代码和数学，还特别提升了推理能力
技术报告地址：
https://ai.google/static/documents/palm2techreport.pdf