iT邦幫忙

2023 iThome 鐵人賽

DAY 20
2
自我挑戰組

SRE 照書養系列 第 20

Day 20 - SRE 照書養:從莎士比亞搜索看 Google 內部服務交互(上)

  • 分享至 

  • xImage
  •  

安安!大家週三好!今天來看什麼是莎士比亞搜索!這裡是今天讀的原文出處:The Production Environment at Google, from the Viewpoint of an SRE,那我們就開始吧!

結果莎士比亞搜索是書中提供的一個範例服務,那我們來看看這個範例在說些什麼吧!

這個服務的作用是在所有莎士比亞的文獻中搜索給定的詞語。系統分為 batch(批次作業) 跟 frontend(接收流量) 兩個部分,frontend 的部分相對好理解,batch 則是採用 MapReduce 框架設計,下面我借用書中的說明:

  • Mapping 階段:該程序遍歷所有的莎士比亞的文字,將其分成具體的單詞。這項任務可以利用多實例並行加速。
  • Shuffle 階段:該程序將上一階段產生的所有單詞和位置等進行排序。
  • Reduce 階段:將上一階段產生的單詞或位置等按單詞合併,產生一個新的單詞或位置列表。

最後,程序將每一個單詞或位置列表寫入 Bigtable 中,Row Key 就是這個單詞

後記

今天簡單介紹了莎士比亞搜索的內容,明後幾天應該就是延續著這個範例介紹 Google 內部服務是怎麼交互的,那我們就明天見拉!掰噗!


上一篇
Day 19 - SRE 照書養:Google 的開發環境
下一篇
Day 21 - SRE 照書養:從莎士比亞搜索看 Google 內部服務交互(中)
系列文
SRE 照書養30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言