請問封包傳送速度問題

封包

jarrys1 2017-05-04 16:24:39 ‧ 11967 瀏覽

請教一下若我們在大陸傳送資料到台灣大小大概100k 若單筆單檔傳送大概幾秒就好了,但若把檔案拆成1000筆,但大小不變總共還是100k,但時間就拉長到好幾10分,請問這是什麼原理呢?

窮嘶發發發 iT邦高手 1 級 ‧ 2017-05-05 07:28:15 檢舉

樓主錯了，基本上 100K / 1.5K= 67 個封包，要傳很快，但是假如你分成 1000筆，那每個封包的資料量是 0.1K，但封包大小基本上還是 1.5K，所以等於要傳 1000 個封包才能傳送完成，假如傳送 67 個封包需要 10秒，那麼 1000 各就是 1000 / 67 * 10 =149 秒，相差 15倍左右，這還不包括每次傳輸一個檔案前的三步握手時間，以及傳輸後的資料比對時間

登入發表討論

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

4 個回答

msnman

iT邦研究生 1 級 ‧ 2017-05-04 16:38:11

磁碟IO的問題。
大檔寫入跟小檔寫入的問題。
你自已用磁碟讀寫測速軟體跑看看就知道，4K的寫入是很慢的，4K以下更慢。

回應
分享
檢舉

登入發表回應

竹本立里

iT邦好手 1 級 ‧ 2017-05-04 16:50:02

原始資料是100K
但是加上封包的頭尾....格式傳輸的資料還會是100K 嗎??

回應
分享
檢舉

登入發表回應

bizpro

iT邦大師 1 級 ‧ 2017-05-04 21:12:52

TCP/IP的握手需要時間, 海峽間的握手需要更長時間, 加上接續連線請求造成的延遲, 假設平均需要0.5秒, 1000次握手就需要500秒, 那就超過8分鐘. 這也是優化網站效能要減小TCP/IP握手的次數.
TCP/IP的重送效應可能很大.
另一個大的延時在應用層層次, 對執行緒的處理方式造成耗時, 不同的傳輸應用程式/方式有不同的影響.
TCP/IP的表頭有一些影響, 雖不是很大, 也加了一點點時間.
硬體層中, 受到儲存裝置處理100k和1000次0.1k的影響應該很小.

註: TCP/IP三階段握手:
Client(CLOSED)-->SYN; Client(SYN_SENT)-->Server(LISTEN)
Server(LISTEN)-->SYN/ACK; Server(SYN_RECEIVED)->Client(SYN_SENT)
Client(SYN_SENT)-->ACK; Client(ESTABLISHED)-->Server(ESTABLISHED)

回應 3
分享
檢舉

bizpro iT邦大師 1 級 ‧ 2017-05-05 15:45:42 檢舉

剛好有空寫了一個腳本, 用dd建立了一個100k的空檔, 和1000個0.1k的空檔, 然後用scp傳檔測試, 中間沒有任何sleep:

#!/bin/bash
rm *.txt
dd if=/dev/zero of=100k.txt bs=1024 count=0 seek=100 1>/dev/null
for i in `seq 1 1000`; do
  dd if=/dev/zero of=0.1k-$i.txt bs=102 count=0 seek=1 1>/dev/null
done

START=$(date +%s.%N)
scp 100k.txt adminuser@192.168.0.88:~/testfile/
END=$(date +%s.%N)
DIFF1=$(echo "$END - $START" | bc | sed "s/^./0./" )

START=$(date +%s.%N)
for i in `seq 1 1000`; do
  scp 0.1k-$i.txt adminuser@192.168.0.88:~/testfile/
done
END=$(date +%s.%N)
DIFF2=$(echo "$END - $START" | bc)
DIFF3=$(echo "$DIFF2 - $DIFF1" | bc)
RATIO=$(echo "$DIFF3*100/$DIFF1"|bc)
echo "To scp a single file of 100kb in size takes $DIFF1 and to scp 1000 files of 0.1kb each in size takes $DIFF2"
echo "The time difference ratio is $RATIO%"

結果是:

To scp a single file of 100kb in size takes 0.268555700 and to scp 1000 files of 0.1kb each in size takes 263.874764439
The time difference ratio is 98156%

那是981倍!.

bizpro iT邦大師 1 級 ‧ 2017-05-05 20:50:55 檢舉

再做一次測試, 這次增加一個測試: 1000個1k的檔案:

#!/bin/bash
rm *.txt
dd if=/dev/zero of=100k.txt bs=1024 count=0 seek=100 1>/dev/null
for i in `seq 1 1000`; do
  dd if=/dev/zero of=0.1k-$i.txt bs=102 count=0 seek=1 1>/dev/null
  dd if=/dev/zero of=1k-$i.txt bs=1024 count=0 seek=1 1>/dev/null
done


START=$(date +%s.%N)
scp 100k.txt adminuser@192.168.0.88:~/testfile/
END=$(date +%s.%N)
DIFF1=$(echo "$END - $START" | bc | sed "s/^./0./" )

START=$(date +%s.%N)
for i in `seq 1 1000`; do
  scp 0.1k-$i.txt adminuser@192.168.0.88:~/testfile/
done
END=$(date +%s.%N)
DIFF2=$(echo "$END - $START" | bc)
DIFF3=$(echo "$DIFF2 - $DIFF1" | bc)
RATIO1=$(echo "$DIFF3*100/$DIFF1"|bc)

START=$(date +%s.%N)
for i in `seq 1 1000`; do
  scp 1k-$i.txt adminuser@192.168.0.88:~/testfile/
done
END=$(date +%s.%N)
DIFF4=$(echo "$END - $START" | bc)
DIFF5=$(echo "$DIFF4 - $DIFF1" | bc)
RATIO2=$(echo "$DIFF5*100/$DIFF1"|bc)

DIFF6=$(echo "$DIFF4 - $DIFF2" | bc)
RATIO3=$(echo "$DIFF6*100/$DIFF2"|bc)

echo "1x100k=$DIFF1"
echo "1000x0.1k=$DIFF2; RATIO OVER 1X100K: $RATIO1"
echo "1000x1k=$DIFF4; RATIO OVER 1x100k: $RATIO2; RATIO OVER 1000x0.1k: $RATIO3"

結果是:

1x100k=0.266028082
1000x0.1k=261.604391897; RATIO OVER 1X100K: 98237
1000x1k=262.151353571; RATIO OVER 1x100k: 98442; RATIO OVER 1000x0.1k: 0

傳1000個0.1k或傳1000個1k的時間相近, 差不多是傳一個100k的980+倍, 這表示可以不計TCP/IP的表頭封包的影響, 也可忽略硬體層的影響.

TCP/IP三階段握手非常昂貴, 所以Googlg提出QUIC的協定:
https://en.wikipedia.org/wiki/QUIC
這是一個過牆梯, 爬UDP的牆.

bizpro iT邦大師 1 級 ‧ 2017-05-07 14:23:44 檢舉

再加幾個測試:
1000個5K是1000倍
1000個10K是968倍
也就是說, 1000個10K, 和1000個1K的總傳輸時間相近,其平均時間和傳送單一100K的檔案一樣, 所以, 花在TCP/IP協定的時間是固定的且遠超過在LAN中傳送檔案的時間, 共要花1000次的起滅TCP/IP連線, 單單是在LAN, 這個起滅時間就要260ms了, 何況是複雜的跨海峽連線.
(如果有時間抓封包檢視可能會更真實.)

登入發表回應