當代資料工程與資料分析 系列

資料分析師主要應用的工具是： Tableau, PowerBI, FineReport 這種集成式的軟體。上述的軟體非常強大，就像 Microsoft 的 Office 360 一樣。

然而，我們有時候需要更靈活的工具：我們希望我們的工具可以像 Linux Shell 一樣，有許多小的零組件，一個零組件只做好一件事，比方說： awk, sed, tr, sort, cat, ... ，卻可以靈活地組合起來，而且，容易自動化。

本文就是要介紹「當代的」資料工程與資料分析技術，這套工具與方法論就像是 Linux Shell 一般地靈活、容易自動化、可以提昇數倍的產出。