Day 6 動手實作!LLM相關練習(一)
今天要來練習利用Hugging face開發的transformers庫和torch框架,完成簡單的翻譯文本練習。
Hugging Face是一家美國公司,專門開發用於構建機器學習應用的工具。該公司的代表產品是其為自然語言處理應用構建的transformers庫,以及允許使用者共享機器學習模型和資料集的平台。(by Wikipedia)
Hugging Face幾乎是LLM開發的標準平台,上面有許多關於LLM的教學與討論。
而其中的transformers庫提供了數千個任何人都可以下載和使用的預訓練模型,其中的piplines函數是今天會用到的功能,待會再介紹~
實作會在Google Colab執行,馬上進入練習~
1.進入Google Colab
2.安裝所需模組
!pip install transformers torch
3.使用pipeline加載翻譯模型,並翻譯文本
這個範例用中文翻譯到法文
from transformers import pipeline # 引入 pipeline
# 加載翻譯模型
translator = pipeline("translation_en_to_fr")
# 翻譯文本
text = "你好,你怎麼樣?"
translation = translator(text, max_length=40)
# 輸出翻譯結果
print(f"翻譯結果: {translation[0]['translation_text']}")
pipeline函數 : 提供了一種方便的方式來使用各種NLP模型,讓開發者能夠專注於應用邏輯,而不是底層技術細節。
也可以從Hugging Face提供的翻譯模型尋找翻譯不同語言的語法
像是以下三種 :
translation_en_to_fr:從英語翻譯到法語。
translation_en_to_de:從英語翻譯到德語。
translation_fr_to_en:從法語翻譯到英語。