iT邦幫忙

nlp相關文章
共有 138 則文章
鐵人賽 AI & Data DAY 20

技術 Day 20: 從文章中獲取有用的資訊!關於資訊抽取

The president of the United States is Donald Trump. (美國總統是川普。) 資訊抽取技術在看到這句話時,會...

鐵人賽 AI & Data DAY 15

達標好文 技術 Day 15: 神奇的法杖 - 提高效率的WAND演算法

今天我們要介紹用來提升查詢效率的WAND演算法。 在這個演算法中我們會為每一個字詞記錄一個數值,這個數值稱為maximum contribution。一個字詞的...

鐵人賽 自我挑戰組 DAY 9

技術 Day 9 - Transformer模型 -- 架構篇(3)

以上圖出自李謦伊 今天我們要細講 Transformer 模型架構的 Decoder(解碼器) 的部分,也就是圖中的右半部,這邊會說明它跟 Encoder 的...

技術 NLP (自然語言處理)攻略 - Intent Classification

任務簡介 意圖分析, 表示 ⇒ 輸入文字敘述, 要分類文字屬於何種意圖 sample: "i dont like my current insuran...

鐵人賽 自我挑戰組 DAY 23

技術 [Python][OpenCV]如何利用Tesserect OCR做辨識

https://zh.wikipedia.org/wiki/Tesseracthttps://help.ubuntu.com/community/OCR imp...

技術 [Python][Arabic]陽春翻譯工具

參考使用源碼為以下:https://github.com/amrelarabi/English-Arbic-Translator程式一開始載入字典檔並初始化字典...

鐵人賽 自我挑戰組 DAY 7

技術 Day 7 - Transformer模型 -- 架構篇(1)

Transformer 模型架構主要由兩個區塊組成,左側是 Encoder(編碼器),右側是 Decoder(解碼器) (這邊先簡單說明,下一章節回詳細解析兩...

鐵人賽 AI & Data DAY 21

技術 Day 21: 讓電腦讀懂人類的提問!關於問答系統

問答系統是一個自動為一自然語言問題找出答案(組)的任務。 這是Google的問答系統(我也不知道為什麼Google會幫歐巴馬放上這張圖XD)。 我們能夠用資...

鐵人賽 AI & Data DAY 3

技術 [Day3] 知名企業使用Dialogflow的案例

Dialogflow 官方列出的三大案例分享,分別是KLM航空,達美樂和Ticketmaster,這三間公司都是跨國企業,擁有相當龐大的產品客戶。 三種案例也分...

鐵人賽 AI & Data DAY 11

技術 Day 11: Google要如何儲存成千上萬個網站的位置?關於索引壓縮

如同我們前幾天所寫的倒排索引,多數搜尋引擎為了查詢的效率,會將索引儲存在記憶體當中。如此,需要足夠的記憶體才能夠將所有索引儲存起來。如果我們能夠從索引的資料型態...

鐵人賽 AI & Data DAY 17

技術 Day 17: 透過搜尋結果評估搜尋引擎的效果(一)

今明兩天要來說說,我們可以如何判斷和評估一個搜尋引擎的效果。 先從三個在統計學和機器學習領域基礎而重要的評估方式說起:準確率(Accuracy)、精確率(Pre...

技術 如何在亞馬遜上數據採集並找到最暢銷的產品

毫無疑問,為了在亞馬遜上獲得可觀的利潤,選擇最佳的銷售產品至關重要。為了找出哪種產品賣得最好,我們需要進行產品研究以了解市場。在本文中,我將討論5個技巧,這些技...

鐵人賽 AI & Data DAY 12

技術 Day 12: 親手寫個檢索系統吧(三)索引壓縮

今天我們要來實作倒排索引的空間壓縮。這裡我們會利用昨天文中介紹的VByte壓縮法壓縮倒排索引中的文件ID doc_ids 以及文件-詞頻列表 doc_term_...

鐵人賽 AI & Data DAY 14

技術 【NLP】Day 14: 神經網路也會神機錯亂?不,只會精神錯亂...深度學習:前饋神經網路

在夜城,不要相信任何人,受到背叛也是自己的錯...琦薇《電馭叛客:邊緣行者》 我很喜歡賽博龐克風格的相關作品,像是銀翼殺手、攻殼機動隊,都是我很愛的作品。最...

鐵人賽 自我挑戰組 DAY 29

技術 [Python]Natural Language Toolkit

http://www.nltk.org/NLTK 是一個主流用於自然語言處理的 Python 庫 import nltk nltk.download() p...

鐵人賽 AI & Data DAY 29

技術 [DAY29] 機器學習 - 自然語言NLP(二)

主題建模 確定它分析的每個文本或文檔中的主題 從整體文本數據推斷主題集群 將包含類似主題集群的文本或文檔組合在一起 文本聚合 將包含相似主題的文字或文件組...

技術 別讓情緒搞毀了你!

有多少次你聽到有人對你說:”不要在做事時加入個人恩怨,但是….”。 現實的狀況是:專案經理有時可能會對某些人說某些事,這會讓他們覺得是在針對他們,或許內容可能...

鐵人賽 AI & Data DAY 17

技術 【NLP】Day 17: 每天成為更好的自己!神經網路也是!深度學習模型 GRU

今天沒有引言,但是有梗圖 前天的文章介紹了基本的循環神經網路RNN,但RNN的致命缺點是容易導致梯度下降或是梯度爆炸。為了要解決這個問題,必須在以下兩點...

鐵人賽 AI & Data DAY 19

技術 【NLP】Day 19: 注意!謝謝你的注意!Transformer (上)

如果我能看得更遠,那是因為站在巨人的肩膀上。牛頓 經過了前幾天的旅程,相信大家對於運用在自然語言處理的神經網路,應該已經有了一定程度的認識。神經網路是深度學...

鐵人賽 AI & Data DAY 14

技術 Day 14: 怎麼提高搜尋速度呢?關於效率搜尋

搜尋的速度是影響使用者對一個搜尋引擎體驗的一個因素,對於活在2019的你來說,很難想像在Google Search時你要等兩秒(不包含網路封包傳送的時間)才能等...

鐵人賽 AI & Data DAY 29

技術 Day 29: 電腦怎麼知道「說」跟「曰」意義相近?關於文字相似度

總覽 今天我們要使用昨天說到的Lin similarity來計算字與字之間的相似度。我們將會使用Brown Corpus作為訓練文集,以及Wordnet中的文字...

鐵人賽 AI & Data DAY 30

達標好文 技術 Day 30: 總結、心得與展望

總結與心得 本來想分兩個段落來寫總結和心得,只是寫著寫著發現,這兩個段落相輔相成。這次我的主題是關於我個人非常喜歡的自然語言處理,儘管內容沒有太多涉入當今的st...

鐵人賽 AI & Data DAY 13

技術 Day 13: 可是資料是不斷增加的啊!關於動態索引建構

這幾天我們都在「靜態」的情況下建構倒排索引,文集中的文件數不變、空間使用不會有太大變化,也沒有及時新增或修改。即便如此,要建構這樣的靜態索引還是可能會出現一些難...

鐵人賽 Software Development DAY 26
Laravel 新手初見 API 系列 第 26

技術 Day26-介接 API(番外篇 I)NLP 自然語言處理之初見 Dialogflow ES

大家好~今天內容都不會寫到程式喔~市面上還有許多自然語言處理的服務,不過今天先來簡單認識一下 Dialogflow ES 吧! 前言 假如今天我們想詢問天氣如何...

鐵人賽 Software Development DAY 14

技術 [Day 14] Pipeline Runner - 果然我的自然語言處理搞錯了。|【搜尋引擎製作錄】

Github, Over Engineering 礙於篇幅緣故,過多細節的部分,會挑重點講述,如有疑問歡迎留言討論 今天會總結一下資料前處理的部分,程式碼的部分...

鐵人賽 AI/ ML & Data DAY 26

技術 [Day 26]"是人是AI,一照便知" - 沒想到最終能找出LLM槍手的原因,是因為LLM太完美了?!

自從2023年大型語言模型如ChatGPT火起來後,這些AI不僅能寫出幾乎和人一樣的文章,還開始影響學生的學習方式。雖然這讓寫作業變得簡單了,但也可能讓學生們...

鐵人賽 自我挑戰組 DAY 8

技術 Day 8 - Transformer模型 -- 架構篇(2)

今天我們要細講 Transformer 模型架構的 Encoder(編碼器) 的部分,也就是圖中的左半部,那我們就一一剖析裡面的每一層在做哪些事情 以上圖出自...

鐵人賽 自我挑戰組 DAY 24

技術 [Python][OpenCV]如何利用Tesserect OCR做翻譯器

借用google的翻譯功能 from googletrans import Translator 主模組參數設定 class tesserectOCR():...

鐵人賽 AI & Data DAY 15

技術 【NLP】Day 15: 圓圓圈圈圓圓~深度學習:循環神經網路 RNN

對啊,這也是一種世界。也是我心中的可能性。現在的我並不只是我,還可以有很多種自我。《新世紀福音戰士》碇真嗣 循環神經網路(Recurrent Neural...

鐵人賽 自我挑戰組 DAY 6

技術 Day 6 - NLP常用的Transformer模型 -- 簡介篇

"Transformer模型" 是一種深度學習架構,最初由Google於2017年提出。它是一種用於處理序列數據的神經網絡架構,特別在自然語...