參賽動機

還記得本人高中的時候大數據這個詞很夯，那個時候根本不清楚大數據是什麼，只覺得把一大堆數據蒐集起來就叫做大數據吧，具體能拿來幹嘛其實也不太清楚；隨著AI領域近年來有了突破性的進展，大數據這個詞又重新出現在了我們的耳邊，究竟什麼是大數據呢？大數據背後究竟有哪些技術呢？
接下來幾天，我將透過自己的學習視角，與大家分享大數據的基本觀念以及現行主流的3個大數據框架 Hadoop、Spark 與 Flink。

學習目標

正如我的題目所言，這30天的學習目標在於「認識」大數據框架，因此會花不少介紹架構、安裝與設置上，實作練習的部分會以 Python 為主，理論上不會有什麼太難的部分，如果你已經是大數據高手的話那這系列文章可能不太適合你，但如果你跟我一樣是從0開始學習 (受苦) 的話，歡迎訂閱這個系列！🤩

主題規劃

1. 大數據基本觀念
   • 4V
   • 大數據計算：批處理、流處理
   • 大數據架構：Lambda、Kappa
2. Hadoop
   • Hadoop 介紹與安裝
   • Hadoop 基本架構 (HDFS、MapReduce、YARN)
   • Hadoop in Python
   • Hive
3. Spark
   • Spark 介紹與安裝
   • Spark RDD、DataFrame、DataSet
   • Spark in Python (PySpark)
4. Flink
   • Flink 介紹與安裝
   • Flink DataStream、Table
   • Flink in Python (PyFlink)

預告

明天正式進入大數據的基本介紹～

題外話，比賽開始沒多久小弟我就要加入國軍 online 了，所以學習以及撰寫文章時間加起來其實不到一個月，偏偏我又是個很貪心的人，題目範圍訂的超級大，究竟我能不能完賽呢，敬請期待🤣🤣🤣