iT邦幫忙

2021 iThome 鐵人賽

DAY 6
0
自我挑戰組

Ruby on Rails 與它們相關的東西 II系列 第 6

Day06 - 監控 Sidekiq 有無正常運作(或執行超過多久)

前言

去年介紹過 Day25 - Ruby on Rails 中的 Sidekiq 的介紹與應用 ,這次延伸介紹如何自行寫腳本監控 Sidekiq 是否正常運作,以及監控執行超過多久的方法 (絕不承認是擠牙膏策略

說明

網站上線後,若有使用像是 Sidekiq 或 Resque 等,非同步處理任務的 Gem 時,不會希望某個服務掛掉而影響使用者,這時可以自行寫腳本監控,看是否正常運作

示意圖

實作

ps aux 中可以看到是否有運作

# 判斷是否有正常運作

out = `ps aux`
total_sidekiq_count = 1
# Normal: `sidekiq 6.2.1 wms [0 of 10 busy]`
# Quiet:  `sidekiq 6.2.1 wms [0 of 10 busy] stopping`
sidekiq_matcher = /sidekiq 6\.2\.1 ironman_13th_2021 \[\d+ of \d+ busy\]\s*$/
sidekiq_cnt = out.each_line.count { |line| sidekiq_matcher.match(line) }
if sidekiq_cnt != total_sidekiq_count
  msg = "Sidekiq 有 #{sidekiq_cnt} 個,應該是 #{total_sidekiq_count} 個,請檢查。"

  # 想做的處理,ex: Slack 通知、寄信...等
end

能知道 Sidekiq 是否正常運作,相對也能判斷每個 Job 執行多久

# 執行超過 10 分鐘的 Sidekiq job 要有提醒

current_time = Time.now.to_i
workers = Sidekiq::Workers.new
sidekiq_over_ten_min = 0
# workers.first = [
#   [0] "local:41435:a7fojn24m345",
#   [1] "ounxdxzrw",
#   [2] {
#         "queue" => "default",
#       "payload" => {
#                 "class" => "xxx",
#                  "args" => [],
#                 "retry" => 0,
#                 "queue" => "default",
#                   "jid" => "46b49fg192950dda552h21a0",
#            "created_at" => 1600743892.457303,
#           "enqueued_at" => 1600743892.457865
#       },
#        "run_at" => 1600743892
#   }
# ]
workers.each { |_process_id, _thread_id, work| sidekiq_over_ten_min += 1 if current_time - work["run_at"] > 600 }

if sidekiq_over_ten_min.positive?
  msg = "Sidekiq 有 #{sidekiq_over_ten_min} 個執行超過 10 分鐘,請檢查。"

  # 想做的處理,ex: Slack 通知、寄信...等
end

小結

透過腳本監控,搭配 Slack 、寄信通知,當系統異常時,可以第一時間發現並處理,避免災情擴大,但如果所有人都睡著且沒留意到手機通知,結果還是一樣 (笑

參考資料

  1. Sidekiq GitHub Wiki

鐵人賽文章連結:https://ithelp.ithome.com.tw/articles/10264574
medium 文章連結:https://link.medium.com/mtoj9Ck2Mjb
本文同步發布於 小菜的 Blog https://riverye.com/

備註:之後文章修改更新,以個人部落格為主


上一篇
Day05 - Gem-paranoia 軟刪除介紹與應用
下一篇
Day07 - Gem-sidekiq-limit_fetch 限制 sidekiq queue 執行數量
系列文
Ruby on Rails 與它們相關的東西 II30

尚未有邦友留言

立即登入留言