iT邦幫忙

2021 iThome 鐵人賽

DAY 27
0
AI & Data

Attention到底在關注什麼?系列 第 27

Day 27 利用transformer自己實作一個翻譯程式(九) Point wise feed forward network

  • 分享至 

  • xImage
  •  

Point wise feed forward network

在兩層全連階層中加入一個relu的激活函數

def point_wise_feed_forward_network(d_model, dff):
  return tf.keras.Sequential([
      tf.keras.layers.Dense(dff, activation='relu'),  # (batch_size, seq_len, dff)
      tf.keras.layers.Dense(d_model)  # (batch_size, seq_len, d_model)
  ])
sample_ffn = point_wise_feed_forward_network(512, 2048)
sample_ffn(tf.random.uniform((64, 50, 512))).shape
TensorShape([64, 50, 512])

上一篇
Day 26 利用transformer自己實作一個翻譯程式(八) Multi-head attention
下一篇
Day 28 利用transformer自己實作一個翻譯程式(十) Encoder layer
系列文
Attention到底在關注什麼?30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言