前言

推薦已經五年前但仍適用的 學程式到底要學什麼 by Huli，學習如何看透問題本質並解決問題，比漫無目的學習更重要，接著來分享一下我的想法～

學海無涯，到底要學什麼

• 大家都在學程式，我是不是也要學一下 Python，不然我好像跟不上時代
• 最近 AI 好紅，我也來買一下線上課程，說不定之後可以變 AI 工程師
• 聽說工程師薪水都很好，你都怎麼學的，我也想轉職

上面都是我許多身邊朋友說過的話，猜猜這些朋友後來做了什麼努力，80 % 只是說說而已，20 % 真的有買線上課程或去上實體課(資策會、培訓等等)，1 % 的人有真的上完課，0 % 學完之後有用到或是真的去找相關工作，那真正轉職的也當然也是 0 %。

(預防針😂)這只是我身邊的統計，可能真的有很不錯的課程可以幫助轉職，但我想說的是思維，不要為了學而學～

若抱持著跟風或是試試的想法，恐怕學完之後也不會有太大的幫助，「寫」程式或是「學」程式不該是目的，程式只是一套工具，太多人為了學而學，甚至曾經的我也是，不僅沒效率也沒什麼意義，以前大學時期常常覺得什麼技術很厲害，就想辦法去買或借 O'Reilly 的書回來嗑，覺得一定能快速學會，結果當然是完全吸收不了，嗑個兩天就墊泡麵了，可能初學者書籍或是圖解XX才是我當時最需要的，每個人在學每一件事之前，我覺得都可以想一下這四件事，學習動機、學習方式、學習資源、學習路徑，盡可能的問自己這些問題再開始，如果覺得很麻煩，至少先問自己學習動機，可能都會更省時省力，或是更知道先後次序，這樣會走比較少冤枉路～

還是以我為例好了，過去大學都在學一些機器學習、深度學習的各項基礎和演算法，然後畢業時還覺得自己可以找個資料科學家的工作，等到真的面試被洗臉，進入職場一陣子才知道資料科學家跟這些差得遠了，到底差了什麼，除了領域知識、模型理解、落地應用等等，我們學的大約只有資料科學家需要的 5% 而已，那到底該怎麼辦，學校學的沒有用，公司要的沒有教？

需求是岸，擱淺停靠都好

我後來專注在資料工程的部分，那我是怎麼做的？ 最主要的就是「需求導向」，不論是公司的專案或是自己的 side project，真正的 get your hand dirty 把手弄髒去實作，才是真正可以學到東西的，公司需要把舊的 python script 上雲，所以我開始認真研究 google cloud 和 AWS，後來公司確定要用 Google GCP，我接著熟悉了 GCE 和 各種 Storage，接著又因為資料太大量需要用 BigQuery，所以就很開心的繼續學新的東西，慢慢的技能樹就一個個被連起來，我就知道我會往資料工程師走，大概就是這樣～

路人甲:講這麼多，阿我的公司就沒有機會讓我慢慢摸，我面試也常常遇到需要的即戰力的啊？

辦法總比困難多！沒有「需求」，也可以自己創需求，自己找朋友做 side project，想面試資料科學家，真的實作一些模型，讓面試官不是只能看那些看膩的 coursera 證照、萬年不變的那幾個的 kaggle 比賽、數字辨識的重複程式碼等等，試著找一找自己生活的痛點或說需求，真正的用「機器學習、深度學習」去解決，這才會是能展現能力的經歷

路人乙:我就沒辦法自己想啊，我什麼都想不到，如果我真的認真做，我也不想做免費的～

加入社群，參與討論，例如參加 meetup 聚會，直接看大家有沒有專案正在進行，例如零時政府固定都有活動，都可以當那個「沒有人」，如果真的想賺錢又想學又想有作品，就去接案平台晃晃吧，或是接案社團，真的要有點實力又有運氣，才能達成「賺錢、學習、作品」的三個需求吧～

總之，有需求之前，就先廣泛閱讀吧！讀著有興趣，可以先做一個小應用，慢慢的你會發現自己遇到什麼事會比較擅長，會學很快，那再想想這件事你喜歡嗎？如果覺得還不錯，就可以多想想或多參加活動，你就會發現有無數的需求可以做，然後選一個自己真的喜歡的(或是錢多的😂)就做吧～突然就會發現你不想跟風了，因為你有自己的方式去學習和探索，也更了解自己的專長和喜好，你不會再問出上面的問題了，但可能會開始聽到上面的問題了～

當然過程中可能會做出無數個「擱淺」的 project，可能會很有很多爛 code 和專案停擺，但這些我覺得都沒有比「為了學而學」更冤枉，因為「擱淺」久了，總能找到適合的港灣，吃水剛好，空間適合，能好好讓你「停靠」的～

像是這 30 天也是我給自己創的需求，逼迫自己每天發文學習，目前是覺得蠻有效的，但文章深度感覺有點擱淺😅～之後會再努力的～

Airflow 資源分享

上面碎碎念太多了

單篇文章

• 2018 的早期文章，那時候應該沒什麼人在用 Airflow，雖然有一些 code 新版已經不一樣，但還是推薦閱讀
  一段 Airflow 與資料工程的故事：談如何用 Python 追漫畫連載 by LeeMeng

• 一篇文直接上手 airflow，從介紹、安裝、範例都全部包辦
  Airflow 介紹 by JohnCena

• 2022 年知乎的好文，干货满满
  Airflow 实践笔记-从入门到精通

系列文章

• 2020年 Happy Coder 舉辦的開發者寫作松，連續七天發文，文章內容對於初學 airflow 很有幫助
  Airflow 動手玩系列文 by FrankYang0529

• 2021 年四篇系列文，介紹 Apache Airflow 2.1 基礎教學
  Airflow by 3LexW

• 2022 年五篇文章，Apache Airflow 2.1.2 版本紀錄
  Apache Airflow by SH Tseng

英文文章

• 這些都是近一年的文章，針對初學者，從零開始實作小型專案，內容架構都很清晰

1. Apache Airflow for Beginners - Build Your First Data Pipeline by Projectpro
2. How to Orchestrate an ETL Data Pipeline with Apache Airflow by Aviator Ifeanyichukwu
3. ETL Process Using Airflow and Docker by Bar Dadon
4. Airflow Notes

官方資源

• 真的很推薦大家來看 Astronomer 做的 Airflow 101，每個章節都不多，而且好吸收
  Airflow 101 Learning Path by astronomer

• 更進階的內容也有
  Airflow All Modules by astronomer

• 許多超實用的功能實作和細節說明都在線上研討會當中
  Astronomer Webinars

• 官方文件是什麼文章都找不到的好夥伴
  Apache Airflow Documentation