技術 28 Transformer

繼 Attention model 之後，由於 recurrent 架構的特性一直無法善用 GPU 的資源做加速。 這時 Google Brain 團隊就看到別...

技術 【Day 6】BERT由Transformer模型構建而成

前五天，我們講解了BERT模型的核心概念、輸入輸出以及模型的類型，現在讓我們進入模型的結構、原理部分，來談一談作為BERT模型的原始架構的Transformer...

技術 【NLP】Day 24: 欸！BERT！你在幹嘛呀？BERT 模型實作＆程式碼解析

別想太多，做就對了！《捍衛戰士：獨行俠》 前兩天我們已經了解 BERT 的內部運作，還有 BERT 在進行語言處理上的一些缺陷。今天不聊理論，我們來簡單一一...

技術 【NLP】Day 23: 幫你解決各類NLP任務的BERT，以及其他在芝麻街的好捧油們（下）

真正掌握權力的人，通常都躲在表面上有權力的人後面，操控著一切。法蘭西斯・安德伍德《紙牌屋》 這幾天在研究 BERT 的時候想著，如果要拿流行文化來比喻的話，...

技術 【NLP】Day 19: 注意！謝謝你的注意！Transformer （上）

如果我能看得更遠，那是因為站在巨人的肩膀上。牛頓 經過了前幾天的旅程，相信大家對於運用在自然語言處理的神經網路，應該已經有了一定程度的認識。神經網路是深度學...

技術 [Day22] NLP會用到的模型(五)-self-attention

一. self-attention的編碼方式 昨天說明了注意力主要是要明確算出input與output之間相關的資訊量，那怎麼算呢，這邊我會說明現在最常使用的s...

技術 【Day6】淺談Transformer-跟變形金剛一樣強大

Transformer是一種深度學習模型架構，最初由Google Brain團隊在2017年發表了一篇論文 Attention Is All You Need...