Paper link | Note link | Code link | NeurIPS 2023

Paper title: Fine-grained Late-interaction Multi-modal Retrieval for Retrieval Augmented Visual Question Answering

整體想法

這項研究針對知識基礎視覺問答中的兩個主要限制進行探討：

1. 從影像到文本轉換衍生的影像表示可能不完整且不準確。
2. 僅依賴一維嵌入來計算相關性分數缺乏敏感度。

摘要

知識基礎視覺問答（KB-VQA）的任務利用外部知識來回答基於視覺內容的問題。

一種被稱為檢索增強視覺問答（RA-VQA）的框架能有效地解決這一任務。

本研究旨在解決 RA-VQA retriever 中的兩個限制：

1. 通過影像到文本轉換獲得的影像表示可能不完整且不準確。
2. 僅使用一維嵌入來計算相關性分數缺乏敏感度。

背景

知識基礎視覺問答（KB-VQA）旨在讀取影像並回答與影像內容相關的問題。

如何才能正確回答問題？

這取決於能夠檢索相關資訊並根據檢索到的知識生成答案的能力。

一種名為檢索增強視覺問答（RA-VQA）的框架專門為此任務而設計。

整體 RA-VQA 的運行過程：

1. 從外部知識中檢索與影像和問題相關的篇文件。
2. 使用大型語言模型（LLM）根據這些相關段落生成答案。

相關研究： RA-VQA

一個共同訓練的知識檢索和答案生成框架：

1. 使用視覺算法將視覺資訊轉換為語言。
2. Retriever 從知識庫中檢索文檔。
3. 使用 RA-VQA 損失函數訓練 retriever 和 generator 。
4. 模型將選擇具有最高聯合概率的答案 。

方法

這項研究討論了 RA-VQA retriever 中的兩個主要限制：

1. 通過影像到文本轉換對影像表示的理解不完全。
2. 僅使用單一嵌入來計算查詢和文檔之間的相關性分數可能會導致資訊丟失。

本研究提出了一種名為 細粒度後互動多模態檢索（FLMR） 的方法來解決這兩個限制：

1. 為了更好地理解影像表示，本研究使用大型視覺模型通過影像到文本轉換來對齊影像表示。
2. 本研究不再使用單一嵌入，而是使用多維表示來以細粒度方式捕捉相關性分數。

Knowledge retrieval

這個框架包含兩個 encoder：視覺模型 和語言模型 。

Visual feature

本研究使用兩種類型的視覺特徵：

1. 基於文本的視覺標題。
2. 來自大型視覺模型的特徵表示。

對於第二種特徵來源，本研究使用 VinVL 來定位 （Region-of-Interest）邊界框。

通過視覺模型 ，他們從影像 中獲得一個全局影像潛在特徵 。

此外，他們還獲得基於 ROI 的潛在特徵 。

Token-Level Embeddings

使用多維嵌入來提高檢索效果。

來自文本和視覺數據的 token-level 嵌入被串接以增強性能。

為了對齊不同模態的特徵，他們訓練了一個映射網路 。它學習將來自 的視覺特徵投影到語言模型 的潛在空間中。

最終的查詢嵌入 為：

其中 ， 是問題 的長度。

Multi-Modal Late Interaction

本研究計算 question-image pair 和文檔 之間的相關性分數：

其中 是來自知識庫的嵌入， 是文檔 的長度。

Answer generator

在本研究中，answer generator 具有參數 ，將根據檢索和答案生成的聯合概率從最佳候選中生成答案。

其中 是 , 和 的模型參數。

Training loss

對於 retriever，本研究使用對比損失 ：

其中 被認為是對於 的負例。

對於 answer generator，他們使用交叉熵損失來評估生成的序列：

其中 是整個數據集， 是人類回答的集合，而 是在文檔 中最常出現的字符串。

實驗

Backbone model：

• : CLIP ViT-base
• : ColBERTv2
• : 2層多層感知器
• : T5-large / BLIP2-Flan-T5-XL

以下是模型在視覺問答數據集 OK-VQA 上的性能：

在 GoogleSearch(GS) 和維基百科上的檢索性能：

比較一些模型變體的案例研究：