今天來用我們主要需要的分詞
from transformers import pipeline
ner = pipeline("ner", model="ckiplab/bert-base-chinese-ner", aggregation_strategy="simple")
input_text = "我要去東京旅遊五天,預算是五萬日元。"
result = ner(input_text)
for entity in result:
print(f"實體: {entity['word']},類型: {entity['entity_group']},信心分數: {entity['score']:.2f}")
但其實今天的分詞結果長這樣
實體: 東,類型: GPE,信心分數: 1.00
實體: 京,類型: GPE,信心分數: 1.00
實體: 五,類型: DATE,信心分數: 1.00
實體: 天,類型: DATE,信心分數: 1.00
實體: 五 萬 日,類型: MONEY,信心分數: 1.00
實體: 元,類型: MONEY,信心分數: 1.00
很明顯分詞的結果很差 需要給他一點學習樣本 不然怪怪的