鐵人檔案
自然語言處理（NLP）對於各式各樣的模型來說至關重要。要先能夠運用程式語言來處理我們日常生活所用的語言，才能使大型語言模型（LLM）有更加精準的表現。
在這30天內，將從各式各樣的主題，像是基礎的Regular Expression，至BERT以及LLM，來去了解當今是如何運用AI、機器學習以及深度學習，來去處理、理解真實世界語料。
當前大家最為熟知的大型語言模型（Large Language Model，簡稱LLM）包括ChatGPT、Gemini、DeepSeek等，他們具有非常強大的運...
昨天介紹了Regular Expression（正規表達式），今天就來聊聊Regular Expression運作背後重要的機制：Finite State Au...
今天要來談談Entropy，中文為「熵」或「資訊熵」，從字面上看起來像是一個化學元素😁，幾乎完全無法推斷他到底是什麼東西。 但其實Entropy的概念很簡單，簡...
現在很紅的ChatGPT、Gemini、DeepSeek，他們都是「大型語言模型（Large Language Model）」，那大型語言模型到底是什麼？ 要回...
接續昨天 N-gram 的介紹，今天來繼續講講 N-gram～～ The Markov Assumption（馬可夫假設） 昨天有提到，如果要用「所有前文」來...
前幾天的標題我都只放了主題，今天突然靈光乍現，覺得用「我在你心裡究竟是什麼地位」這句話來比喻 TF-IDF 非常的貼切🤣 沒錯，TF-IDF 的核心概念，其實就...
前一篇談到 TF、IDF、TF-IDF，這些方法都在想：「文字在一篇文章裡，到底有什麼地位？」 今天要更進一步，把整個文本變成一個「數學世界裡的點」—— 這就是...
昨天介紹 Vector Space Model（向量空間模型）時，有講到 Cosine Similarity（餘弦相似度），但只是輕輕帶過💨，今天就來深入了解...
之前講到向量空間模型（Vector Space Model）跟 Cosine Similarity 時，都有談到把文本轉換成向量，電腦才能夠處理人類的語言。 但...
這幾天陸續都有談到，要讓電腦能夠處理並理解人類語言的方式，就是要把文字轉換成數值，也就是「向量」。 昨天的 Bag-of-Words Model 把文字轉換成向...
