paper

参考链接


Abstract

在这篇论文中，作者首次尝试使用纯语言 GPT-4 生成多模态语言图像指令遵循数据（insruction-following data）。 通过对此类生成数据进行指令调整，推出了大型语言和视觉助手（Large Language and Vision Assistant，LLaVA）。一种端到端训练的大型多模态模型，连接视觉编码器和 LLM 以实现通用视觉和语言理解。

1
背景等相关方法：大型语言模型（LLM）表明语言可以发挥更广泛的作用：通用助手的通用接口，各种任务指令可以用语言明确表示并指导端到端 训练有素的神经助手切换到感兴趣的任务来解决它。例如，最近 ChatGPT 和 GPT-4 的成功证明了对齐 LLM 在遵循人类指令方面的力量，并激发了人们对开发开源 LLM 的极大兴趣。 其中，LLaMA [44] 是一个与 GPT-3 性能相匹配的开源 LLM。 Alpaca [43]、Vicuna [45]、GPT-4-LLM [34]利用各种机器生成的高质量指令跟随样本来提高 LLM 的对齐能力，与专有 LLM 相比，报告了令人印象深刻的性能。 重要的是，这行工作是纯文本的。

不同于上面文本的指令微调，作者提出了视觉指令微调，第一个尝试将指令微调拓展到多模态领域调整。贡献如下：

  • 数据方面：使用ChatGPT/GPT-4来将数据转化为多模态指令遵循数据（multimodel instrustion-following data）；
  • 模型方面：使用CLIP+LLaMA进行指令微调，构建了多模态大模型LLaVA，得到了较好的结果；
  • 开源，开源，还是开源！这年头大模型开源都算主要contribution了。

GPT-协助的数据生成

基于已有的大量图片对数据，利用ChatGPT/GPT-4进行多模态指令遵循数据的收集。主要问题集中在如何用 Language-only/Text-only的ChatGPT/GPT-4模型来为图片内容生成对应的指令。

最基本的方式：图片Xv和其对应的说明文字Xc，构建一个问题集合Xq来提示大模型助手对图片内容进行描述。通过提示GPT-4可以构建这样一个问题序列，如下图：