有的对象检测、图像标题和光学字符识别（OCR）工具将目标图像转换为文本数据。然后，它执行密集段落检索（DPR）。
也将 LLM 视为隐式知识库，并从 GPT-3 中提取相关隐式信息。即插即用 利用 根据初始问题定位相关部分。然后，它对检索到的图像补丁执行图像标题处理，以获取增强上下文。除了纯文本增强上 同时检索文本和图像数据，并将图像作为视觉标记。RAMM(Yuan et al., 2023) 检索类似的生物医学图像和标题，并通过不同的网络对其进行编码。图像标题 生成多种风格的标题、 周和龙 (2023)在生成标题前使用了一种风格感知视觉编码器来检索图像内容。除了对视觉信息进行简单的编码外，Cho 等人还使用了视觉编码器、 Cho et al. (2022) 进一步使用图像-文本对之间的多模态相似性作为奖励函数来训练更精细的字幕模型。除了检索图像元素外、
这章没有结束，请点击下一页继续阅读！
