鐵人檔案
QKV矩陣 昨天講到Self-attention會產生三種矩陣 Q(query) K(keys) V(values)並且提到這三個矩陣是利用矩陣相乘的方法得到...
Multi-Head Self-attention 前面介紹的方法是one head的方法，這邊要來講multi-head在某些情況下，multi-head的結...
Positional Encoding 如果依照前面講到的，self-attention只有vector之間的相關聯性，並沒有位置的資訊 那我們可以使用一個po...
前言 由於接下來要開始寫到attention和Capsule的實作，主要是會研究一些github或是python內建的套件研究主要程式、參數、使用方法等等由於A...
前言 由於忘記今天要開學，而且還有一堂課要上，導致我只有兩個小時研究self-attention的實作今天先來分享我找到什麼跟遇到什麼問題，之後陸續的解決問題，...
前言 昨天在建立環境的時候發現有很多相容性的問題，因此今天我想說這幾天先來學習一下tensorflow跟keras，順便把環境建立好 安裝TensorFlow...
前言 昨天說到要跑範例程式，但是只有做到下載資料集，以及切分資料集，今天來建立模型 利用Sequential API來建立模型 model = keras.mo...
前言 昨天講到要如何建立model，今天來講要如何訓練以及預測 編譯模型 建立完模型之後，必須呼叫compile()方法來指定損失函式與優化法(optimize...
前言 當初想說將每天學到的東西打成一篇文章，紀錄看看30天後學會了什麼 但是最近翻自己的文章就發現內容打的很亂，感覺很多重要的細節沒有講到 進入到實作之後，發現...
前言 一開始我會先實作葡萄牙翻譯成英文的模型，之後確定哪一個中翻英的資料集比較好之後，會再打一篇教學 建立環境 !pip install tensorflow_...
