iT邦幫忙

鐵人檔案

第 12 屆 iThome 鐵人賽
回列表
自我挑戰組

資料蒐集與分散式運算 30 天 系列

這是一個督促自己學習分散式運算的學習紀錄,30 天的時間了解基礎的分散式運算架構和 Hadoop 生態系。

鐵人鍊成 | 共 30 篇文章 | 17 人訂閱 訂閱系列文 RSS系列文 團隊Outcome First
DAY 21

[Day 21] Instagram - 模擬貼文 - 2

歡迎來到第 21 天,承接昨天解析 IG 發文流程的內容,今天將會完成發文前的準備,將瀏覽器更改為手機版。 更改 User-agent 由於發文功能只存在在手機...

2020-10-04 ‧ 由 Walter 分享
DAY 22

[Day 22] Instagram - 模擬發文最終篇

歡迎來到第 22 天,今天要進入重頭戲發布文章。 在我們終於可以看到發文鈕後,接下來要面對的就是走過發文的流程。若將步驟完整拆解,將會走過以下流程 鎖定發文鈕...

2020-10-05 ‧ 由 Walter 分享
DAY 23

[Day 23] 部署 Instagram 機器人

歡迎來到第 23 天,進入倒數的日子總是特別艱難,讓我們一起撐下去吧! 今天我們將結合過去幾天的內容,整合成一個完整的 Instagram 機器人。 流程 一個...

2020-10-06 ‧ 由 Walter 分享
DAY 24

[Day 24] 爬蟲回顧

歡迎來到第 24 天,今天是爬蟲篇章的最後一篇,主要在提及爬蟲篇章沒有講到的部分以及寫爬蟲的心得。 沒有講到的部分 還記得在爬蟲篇章一開始時,有提到爬蟲可以大略...

2020-10-07 ‧ 由 Walter 分享
DAY 25

[Day 25] Hadoop 歷史與安裝

台灣俗語說「吃果子拜樹頭,吃米飯拜田頭」,竟然要學習、使用 Hadoop,那就要先了解 Hadoop 的歷史與發源。 Hadoop 怎麼來的 Hadoop 的原...

2020-10-08 ‧ 由 Walter 分享
DAY 26

[Day 26] Hadoop 生態系

歡迎來到第 26 天,今天要分享一個 Hadoop 中很重要的一個概念 - MapReduce。 接下來的分散式運算篇章中主要會是以學習筆記的形式呈現,如果是以...

2020-10-09 ‧ 由 Walter 分享
DAY 27

[Day 27] MapReduce

歡迎來到第27 天,祝各位雙十愉快! 分散式運算 在學習分散式運算前,無法體會為什麼需要這樣的架構存在直到有一天意識到,當資料量級大到無法將所有資料放在同一個電...

2020-10-10 ‧ 由 Walter 分享
DAY 28

[Day 28] HDFS

歡迎來到第 28 天,昨天提到 MapReduce 的觀念,今天要提到另一個 Hadoop 中的重點 HDFS(Hadoop Distributed File...

2020-10-11 ‧ 由 Walter 分享
DAY 29

[Day 29] YARN

歡迎來到第 29 天,繼昨天的 HDFS 之後,今天要學習最後一個模組 YARN。 什麼是 YARN? 就如同第 26 天提到的 YARN 是一個管理系統,在這...

2020-10-12 ‧ 由 Walter 分享
DAY 30

[Day 30]鐵人練成

終於來到第 30 天! 這篇的開頭要獻給 Outcome First 團隊,從開始被團長 TD 偷拐搶騙的參賽,到開賽前兩天只有兩篇庫存緊張到想退賽,到每一天晚...

2020-10-13 ‧ 由 Walter 分享