活動人數是3000-5000甚至是100000人，該如何做避免同時間大量湧入網站掛點

webservice 瞬間流量大量湧入

manyan 2021-07-13 02:51:11 ‧ 4782 瀏覽

分享至

先前一則關於直播串流的問題，感謝各位前輩們指路，我目前規劃500人以內的直播活動就使用自己的rtmp server+CDN，超過500人以上的活動我就直接使用AWS IVS，至於回看也直接放在S3上面，目前測試都非常順暢。

再來就是要好好想想，萬一今天的活動人數是3000-5000甚至是100000人，當活動開始前，這些人會在短時間內同時Login進入，我是否該注意那些事情~除了web server 還有db server?

前輩們有經驗通常一台server可以讓多少人同時進入呢?

謝謝

看更多先前的討論...收起先前的討論...

japhenchen iT邦超人 1 級 ‧ 2021-07-13 07:56:38 檢舉

有如此規模的流量，應該就不會只有一兩個MIS及可憐兮兮的資訊預算可用了吧，跟老板講，不用錢解決，就不是問題了
普通一台伺服器平均百來個連接就很厲害了，如果記憶體不大，核心少少，那打折再打折，如果是想做這種大流量規劃，建議還是往雲上打算，以實際用量計算要花多少錢

manyan iT邦新手 5 級 ‧ 2021-07-13 15:13:53 檢舉

其實，程式頁面只有一頁，單純的login，大小約30KB 進入後就是直接觀看直播影片了。目前主機都是在雲端，有想過有EC2，有人數較多的活動時，就先預開多台，分散登入觀看的人流，但是不知道EC2一台可支撐多少的數量。

dragonH iT邦超人 5 級 ‧ 2021-07-13 18:01:12 檢舉

怎麼不直接用 aws managed 的 medialive

ak02 iT邦研究生 1 級 ‧ 2021-07-14 09:09:11 檢舉

期待大大的後續執行結果發表

登入發表討論

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

3 個回答

Ray

iT邦大神 1 級 ‧ 2021-07-13 04:56:22

先做壓力測試, 不同人寫出來的程式, 耗用資源可以相差數百倍...

我前幾個月有個客戶, 每多一人上線, 程式就需要多吃掉 60MB 的 RAM, 所以一台 8GB RAM 的主機, 只夠承載 130 人同時上線....他 RAM 爆掉的時候, 連 CPU 都還沒用到 40%....

但你寫的程式, 是吃 RAM 比較兇? 還是吃 CPU 比較兇? 分別各吃多少?
這些都要先做過壓力測試才會知道...(我知道很多開發團隊都沒做這個)
有數據才能解決真正的瓶頸, 不要自己一廂情願的蒙著眼瞎猜....

要找技術參考架構, 可以去看世界級的網路服務商,
這裡面隨便一家隨時都有千萬等級的登入, 看你能挖出多少情報:
https://stackshare.io/stacks

StackOverflow 論壇, 對它們自家架構有詳細的說明:
https://nickcraver.com/blog/2016/02/03/stack-overflow-a-technical-deconstruction/
你可以看到, 它們對自家效能數據量測得很清楚....
下面則是他的母公司 Stack Exchange 用的架構:
https://stackexchange.com/performance
(量測通常需要專人專職來做, 不是開發的人兼著做, 那是兩種不同工作)

避免同時炸機, 除了技術之外, 也有一些商業手段可用:

例如周期較長的促銷活動, 我會要求行銷不要偷懶, 想圖方便一次就把 Campaign 發給所有會員; 改成每小時發1,000人, 或者每10分鐘發1,000人, 都可以降低瞬間爆發的衝擊量....(當然, 技術部門要提供對應的工具)

直播有同時登入的需求, 跟網購不太相同, 但是可以善用 JWT 登入 Cache 的機制, 先把 Cache 時間拉長到幾小時甚至一天, 然後在真正的直播之前幾天, 先利用其他的小活動, 引誘會員提前登入驗證, 在 Browser cache 留下 JWT Token....

等到真正直播開始的時候, 這些已經有 Token 而且還在效期內的人, 就不需要重複執行登入流程, 耗費你的系統資源....(當然, Token 存留期長就會有資安風險, 要仔細討論裡面的流程和保護機制)

或開 2FA/reCaptcha/九宮格驗證, 利用客戶的操作來減緩登入速度...
(開這個可能會被會員或行銷給幹爆, 不過你夠強勢就可以一夫當關...)

以上都是透過商業手段, 來降低技術衝擊的技巧...

若自己沒把握做到高速驗證, 也可以找第三方 SaaS 來幫你做驗證, 例如: Auth0 或 AWS 的 Cognito....如果你還在用 RDBMS 做身分比對的話, 先提醒一下: 單獨只靠 RDBMS 的架構, 要花很高成本才能應付高速驗證.....

回應 7
分享
檢舉

看更多先前的回應...收起先前的回應...

海綿寶寶 iT邦大神 1 級 ‧ 2021-07-13 08:05:39 檢舉

wrxue iT邦好手 1 級 ‧ 2021-07-13 09:28:10 檢舉

聽君一席話，勝讀十年書

manyan iT邦新手 5 級 ‧ 2021-07-13 15:13:29 檢舉

Ray iT邦大神 1 級 ‧ 2021-07-13 15:54:29 檢舉

您可能還是沒意會到, 問題不在:

一台 EC2 可以支撐多少流量?

而是在:

你的程式需要多少資源來服務一個人?

上面舉過例子了:
有的客戶一台主機只能撐 130 人,
但我也用一台主機撐過 10,000 人,
所以, 這兩台主機的規格是相同的嗎?

EC2 從 0.5GB RAM 到 24TB RAM 都有, 從 C4 到 Z1D 總共可以數出 368 種不同的規格, 光講一個 EC2, 就有 368 種不同效能的可能性:
https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/instance-types.html

如果沒有先定義好, 什麼規格才叫: 一台? 我開的一台, 跟你開的一台, 會是相同的效能嗎? 一台 t3.micro, 會跟一台 z1d.12xlarge 相同效能嗎?

若不講規格, 我只說:能用一台 EC2 撐一萬人, 你也能辦到嗎?

關鍵在:
程式..程式..程式...
壓測..壓測..壓測...
數據..數據..數據...

旅行社叫我派一輛車來接客人, 我是要派:
雙人敞篷車? 五人小客車? 九人小巴? 20人中巴? 40人雙層大巴?

以上通通都可以稱為: 一輛車...
人家要怎麼分辨你要的是哪一輛?

石頭 iT邦高手 1 級 ‧ 2021-07-13 23:55:40 檢舉

@manyan 依照我的經驗如果會有這種大型高併發活動，一定需要作壓力測試來抓出我們目前能承受的最大容忍值(你目前已經訂了 10000人/sec目標)，在利用你壓測出來的數據來把bottleneck找出來解決(不得不說有時候需要增加硬體)，但如果你連測試都沒有問的問題真的很空泛....
雷神大大已經把該做的事情很明瞭的跟你說了只差你要不要做
假如真的還不懂我建議你把這個特別專案外包給別人不然到時候上面會很刺激

奈特 iT邦新手 3 級 ‧ 2021-07-16 16:05:09 檢舉

如果沒有壓力測試的經驗,可先試用別人家的服務如Loader.io,測試後可取得數據及圖表,需要更進階的服務再付費來應付這個專案.

poiu124pat iT邦新手 2 級 ‧ 2021-07-18 22:38:13 檢舉

我覺得這邊 raytracy 說得很對，在進行這麼大量的附載之前要先進行壓力測試！
沒有過壓力測試，怎麼會知道要耗費多少資源，才會知道要怎麼擴充。

而且還有一個很重要的事情，沒有經過壓力測試，是無法知道你的軟體架構是不是可以撐得住。

有時候沒有先進行一次壓力測試，說不定資源一多，耗用的資源說不定是以倍數的方式在成長，而且大型軟硬體內部的資源調控(比如說記憶體交換所導致的迴圈)，也必須要經過壓力測試後才會知道。

我有經驗是因為JRD耗用大量資源(使用記憶體超過1.75GB)導致整體效能瞬間下滑，到達瓶頸點後整體幾乎陷入死當，只能將服務重開。
那時候在這樣的狀況下，本來想說只能利用Cluster架構來處理，還好後面改用load balance來分攤session.

登入發表回應

nigel

iT邦見習生 ‧ 2021-07-13 17:51:54

一台server 取决于它的性能也就所谓的”specs”，如果一个网页至少有3000-5000 的人同时进来的话，第一：traffic 肯定很高，所以就需要bandwidth 高，第二：RAM 至少要16GB 以上，第三： CPU 要高，至少也要12-16 cores 毕竟处理器如果不够高，多人一次进，怕server 性能会卡机。

如果你想要好的server，你可以浏览这个网站，他们提供高specs的server及价格公道。