iT邦幫忙

# tokenization相關文章
共有 1 則文章
鐵人賽 AI & Data DAY 4
語言學與NLP 系列 第 4

技術 Day 4 語料預處理 斷詞與停用詞篇

延續昨天講解的 pre-processing 步驟,另一項重要的步驟就是斷詞(tokenization)。在網路爬蟲取得語料之後,先用前一篇提到的 regula...