iT邦幫忙

0

關於bioGPT的使用方式

  • 分享至 

  • xImage

我正在了解bioGPT該如何使用,但是有一些問題想請教
bioGPT-文章:https://academic.oup.com/bib/article/23/6/bbac409/6713511?guestAccessKey=a66d9b5d-4f83-4017-bb52-405815c907b9&login=false
bioGPT-github:https://github.com/microsoft/BioGPT

論文中有提到三個Downstream Tasks
1.relation extraction
2.question answering
3.document classification

而這些任務似乎需要用對應的model去對pre-trained BioGPT做fine-tune
https://ithelp.ithome.com.tw/upload/images/20230326/20147232RVnC3ULEw0.png

想問是否有人做過類似的事情,例如fine-tune過其它模型(例如ChatGPT或BERT),可以大概教我一下要怎麼做fine-tune?
bioGPT上寫的 "Download them and extract them to the checkpoints folder of this project." ,有點不太明白它的意思

謝謝

圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

1 個回答

2
I code so I am
iT邦高手 1 級 ‧ 2023-03-27 07:34:36

『Download them and extract them to the checkpoints folder of this project.』是指將作者訓練好的模型下載下來並解壓縮,各種模型檔案在上面的表格,使用方法如下:

  1. 安裝好依賴的套件,PyTorch、fairseq、...,。
  2. 將作者訓練好的模型下載下來並解壓縮,wget後面的網址要依需求複製表格的URL。
mkdir checkpoints
cd checkpoints
wget https://msramllasc.blob.core.windows.net/modelrelease/BioGPT/checkpoints/Pre-trained-BioGPT.tgz
tar -zxvf Pre-trained-BioGPT.tgz
  1. 執行推論。
import torch
from fairseq.models.transformer_lm import TransformerLanguageModel
m = TransformerLanguageModel.from_pretrained(
        "checkpoints/Pre-trained-BioGPT", 
        "checkpoint.pt", 
        "data",
        tokenizer='moses', 
        bpe='fastbpe', 
        bpe_codes="data/bpecodes",
        min_len=100,
        max_len_b=1024)
m.cuda()
src_tokens = m.encode("COVID-19 is")
generate = m.generate([src_tokens], beam=5)[0]
output = m.decode(generate[0]["tokens"])
print(output)

簡單使用與微調、ChatGPT無關。
有些套件要從source code建置,使用Linux會比較順。

tsungmin iT邦新手 4 級 ‧ 2023-03-27 13:41:27 檢舉

謝謝回覆

我要發表回答

立即登入回答