從芝麻街角色到改變NLP的模型 如果你用Google以「BERT」作為關鍵字搜尋圖片，那麼你會發現一個奇特的現象：一隻黃色的玩偶與奇怪的網狀結構模型混雜在一起。...
明明整個網路中有成千上萬的資料，為什麼Google能在一秒內告訴我答案？搜尋引擎以及各網站的搜尋功能到底是怎麼運作的？為什麼我在搜尋列輸入一大串字之後，搜尋引擎...
前言 在自然語言處理的諸多課題如信息檢索（ information retrieval ）和文本探勘（ text mining ）當中，我們希望找出重要的單詞或...
如何從實戰層面認識BERT BERT的研究與應用可以分為不同的層次。你可以鑽研BERT的模型技術細節，瞭解它為什麼這麼有效，甚至可以發現其中有問題的設計來加以改...
前言 上次我們提到，語言模型（ language model, LM ）就是賦予一段文句機率值。在自然語言處理的許多情境中皆仰賴語言模型： 拼字檢查（ Spe...
昨天的文中我們說到詞性標註，今天讓我們透過NLP界經典的Python Library-NLTK，親手讓電腦幫我們標注文中的詞性。如系列簡介所說，在這30天中，我...
在搜尋技術中TF-IDF是個很基礎而重要的統計方式。什麼是TF-IDF呢？而又為什麼需要TF-IDF？ TF-IDF的全名是Term Frequency - I...
語言是由文字組合出來的。作為一個人類，我們能夠將一篇文章分割成好幾個部分來閱讀和理解，為了讓電腦理解一篇文章，它也必須能夠這麼做。 第一步就在於文字的預處理和正...
一. 為何需要斷詞最主要的原因就是中文的最小一個單位就是一個詞，通常不能直接餵一個句子給你的語言模型處理，這樣模型連詞跟詞的關係都不知道，所以我們需要先利用斷詞...
BERT輸出了什麼？ 回應上一篇關於詞嵌入Token Embedding的討論，BERT的輸出就是文本序列中每個詞單位的高維向量表示，你也可以把它當成一連串抽取...
前言 當我們要使用機器學習演算法來解決自然語言的問題，我們首先必須將文字進行量化（ quantification ）。而透過數字來表示語言的演算法，就稱之為語言...
昨天說到語言模型，今天要來介紹另一個模型--主題模型(Topic Model)。主題模型能夠幫助人們短時間理解原本幾乎不可能讀得完的大型非結構化的文集，例如科學...
還記得第一次使用手機上的「Hey, Siri」或是「Ok, Google」功能時的自己有多興奮嗎？在接下來幾天的文中，我會講解昨天提到的幾個自然語言處理主要課題...
什麼是資訊檢索呢？大家最清楚的例子莫過於網路搜尋引擎了。當你在Google Search上輸入一段你想查詢的字，作為一個使用者通常會跟搜尋引擎有以下的互動： (...
今天介紹NLP常見任務的第三項：自然語言生成(Natural Language Generation) 自然語言處理的一大目標是要讓電腦讀懂人類在說什麼，就如同...
在此之前，我們已經介紹過BERT的核心概念遷移學習Transfer Learning以及它的輸入輸出。那麼接下來的問題就是BERT將詞語轉換為包含了上下文資訊的...
前言 生活在網際網路以及智慧型手機普及的今天，與外國朋友聊天、出國旅行、與國外客戶開商務會議，縱使不熟悉當地語言，只要開啟Google Translate，語言...
前言 前一回我們利用 WordNetLemmatizer 來還原詞條的衍生形體，在這之中我們引入了一項神奇武器而順利地還原詞形，今天我們就來揭開它神秘面紗！...
當本系列文章提到BERT時，最初是指Google所開發的BERT，但後續基本就是指所有運用Transformer和預訓練模式的語言模型。今天這篇文章就是在廣義的...
Day 24時結尾提到幾個存在的問題：「(1) 當文集資料量變大時，每個東西出現的機率會將得非常低，所得到的最終機率也會非常低；(2) 若是有個東西出現在文集的...
在Day 6的文章中，我們說到在進行搜尋時，我們首要關心的是查詢的詞與文件間的相似度。我用一個例子作為開端：假如我們有三個檔案，分別叫做doc1, doc2以及...
1. 預處理 今天的實作我們會使用華爾街日報的的文件集，我有預先將文件集切割成只有兩萬份文件的集合，這份文件集能夠從以下的code中下載。在今天的實作中，我們會...
距離完成我的三十天鐵人賽剩下最後的七篇文章了。我打算用一個遊戲--Hangman猜字遊戲來結束這個系列。昨天說到語言模型，語言模型可以以字詞為單位作N-gram...
過去12天都在講搜尋引擎技術和資訊檢索，這幾天要拉回來繼續介紹自然語言處理界的常見任務了！ 命名實體辨識(Named Entity Recognition)，顧...
如同我們在Day 4講到自然語言生成時提到的，語言模型在做的就是將機率指向一個序列的文字。 語言模型有許多延伸的應用，例如：語音辨識、拼字檢查、機器翻譯、查詢...
前言 上次我們斷開了英文文本的鎖鏈，將龐大的字串拆解成成為詞條的小單元。語言中仍有時態變化、單複數型態、甚至是口語等複雜甚至隨機的因素不利於後續的文字處理，因此...
前言 上一回我們將詞性標籤依序排列建構出片語組塊（ phrase chunk ），描繪出相應的分析樹，藉由簡單的文法結構來分析句子。當我們在進行語塊分析時並不會...
今天開始，我們要進入一個新的主題「Adaptation」。這是指在預訓練模型和Fine-tune之間對模型額外做一個「適應」（Adaptation）的動作，讓B...
前言 當我們在 Google 搜尋引擎輸入 The most incredible 時，系統會推薦你高熱度的關鍵字：我們不禁產生疑問：系統是如何預測關鍵字的呢？...
日常生活中，當我們在用搜尋引擎查詢時應該都經常受一個功能的輔助： 預測查詢，或稱為完成查詢，顧名思義，這功能用於輔助使用者完成他們的查詢。 完成查詢除了能輔助...
wow1310s
丹尼爾胡
Friedrich1942
eating
iThome鐵人賽
看影片追技術