Pytorch 的 BatchNormaliztion 跟 Tensorflow 的差異很大 - iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0

Pytorch 的 BatchNormaliztion 跟 Tensorflow 的差異很大

python pytorch tensorflow model batch normalization

Rorschach 2021-09-03 01:04:39 ‧ 931 瀏覽

分享至

小弟最近因為研究的需要，要把 Pytorch 的 Model Porting 到 TF 來，但是在 BatchNormaliztion 這裡遇到了問題，目前看過他們部分的 Source code 知道一些參數不相同也改了，也試著從 Pytorch 這邊 load weight 到 TF 這裡，還是一樣(如下圖)不行，不知道該如何是好，還請各位大大幫幫忙，感激不禁！

Rorschach iT邦新手 5 級 ‧ 2021-09-03 16:32:57 檢舉

自己回答一下自己，看起來是裡面再訓練的時候不一樣，如果想在 tensorflow 上訓練時候也得到一模一樣的結果，重寫 BN 就可以了。

登入發表討論

直播研討會

{{ item.subject }}

{{ item.channelVendor }} {{ item.webinarstarted }} |

{{ formatDate(item.duration) }}

直播中

1 個回答

1

Capillary J

iT邦新手 4 級 ‧ 2021-09-24 11:56:32

我之前也有把pytorch的weight轉到TF使用過，是個費時費工的活= ="

在想你的input shape是(1,2,2,2)
以tensorflow來說順序是 NHWC，但pytorch是NCHW
你如果要在tensorflow取得和pytorch一樣的結果
是不是該transpose你的input?

回應
分享
檢舉

登入發表回應

我要發表回答

立即登入回答

參賽組數

1064 組

團體組數

40 組

累計文章數

22195 篇

完賽人數

600 人

15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js

IT邦幫忙