鐵人檔案
自然語言處理（NLP）對於各式各樣的模型來說至關重要。要先能夠運用程式語言來處理我們日常生活所用的語言，才能使大型語言模型（LLM）有更加精準的表現。
在這30天內，將從各式各樣的主題，像是基礎的Regular Expression，至BERT以及LLM，來去了解當今是如何運用AI、機器學習以及深度學習，來去處理、理解真實世界語料。
每個語言當中的某些單字存在「歧義」（ambiguity），也就是同一個單字有不同的意思，有些意思的本質相似，但是有些定義卻幾乎沒有任何關聯。 舉個經典的例子：...
前面幾天都在講一些處理語料的技術跟概念，一直講到模型，今天終於要邁入模型這一階段～（雖然之後可能還是會講到一些語料處理的東西😳） 模型也是有分不同的類型，今天要...
昨天開始進入了模型，介紹了第一個機器學習模型（Machine Learning Model）— 決策樹（Decision Tree）。 回到昨天所舉的例子，我們...
前天從 Decision Tree 這個傳統的 Supervised 機器學習模型開始介紹，並在昨天有進一步講解 Supervised、Unsupervised...
其實在自然語言處理（NLP）裡面，有一個任務叫做 Named Entity Recognition（NER，中文譯作命名實體辨識或是專有名詞識別）。 NER 的...
昨天在講 Named Entity Recognition（命名實體辨識）的時候，有講到「Hidden Markov Model (HMM)」，但是沒有特別介紹...
昨天介紹 Hidden Markov Model（HMM）的時候，有稍微提到文本當中的「詞性」是我們看不到的東西，因此可以用 HMM 這種模型來去推測每個詞的詞...
當模型在生成文字時，每一步都會面臨很多可能的選項，而最終輸出的過程，就叫做解碼（decoding）。 Decoding 的核心問題就是從眾多可能的輸出當中選擇最...
之前在介紹 Decision Tree（決策樹）的時候，有講到要把資料切成 80% 給模型訓練，20% 給給模型測試訓練結果，這是最基本的模型評估方法。 但，它...
前面在介紹 Entropy（熵） 的時候，我們提到它可以用來衡量資料的不確定性和驚喜程度，而在 Decision Tree 裡，我們利用 entropy 來判斷...
