PubMedQA Dataset是用來測試生物醫學領域的NLP模型中問答任務的準確度(這裡可找到資料內容)
我閱讀完PubMedQA的論文之後，有一些疑問想請教
關於3-3 Evaluation Settings那邊提到
[reasoning-required setting]: 代表模型的測試集只輸入"question"和"context"，而模型會對"context"進行推理並回答yes/no/maybe (但訓練的資料可以給long answer)
[reasoning-free setting]: 代表模型的測試集只輸入"question"和"long answer"，然後回答yes/no/mable
但我無法理解，當使用reasoning-required setting時(只給它"question"和"context")，而假設模型回答了"yes"，那這個回答是代表甚麼意思?
而reasoning-free只有輸入"question"和"long answer"，模型在沒有context的情況下回答，那這裡回答的yes和no是在告訴我"long answer"是否正確回答了"question"的意思嗎?
我對於PubMedQA的用途還是很不清楚，希望各位可以給我一點提示，謝謝
已邀請的邦友 {{ invite_list.length }}/5
他用了兩個方法去驗證模型的test set，也就是 [reasoning-required setting] 和 [reasoning-free setting]。
reasoning-required setting 的輸入為 question + context。
reasoning-free setting 的輸入為 question + long answer(conclusion)。
兩組設定都是拿來預測 yes/no/maybe。
很明顯 reasoning-free setting 的結果會比較好，因為解答通常在long answer裡面。模型很容易透過long answer去預測 yes/no/maybe。
reasoning-required setting 僅能用 question + context 的 cross-entropy loss + BoW loss 的方式去訓練，來預測 yes/no/maybe。
至於yes/no/maybe的含意，你可以再詳讀他的第一大段和3.1節。
了解~ 感謝回覆
想再多問一個，關於3.2節他們有為這些資料使用MeSH做topic分析，並且每筆資料中也都有一個MeSHes欄位，這只是作者們單純和我們分析DataSet的topic分佈，還是說這些在訓練時也會餵給模型有助於它理解呢?
iThome鐵人賽
看影片追技術