ironman.group.16.ai-and-data
當代資料工程與資料分析
資料分析師主要應用的工具是: Tableau, PowerBI, FineReport 這種集成式的軟體。上述的軟體非常強大,就像 Microsoft 的 Office 360 一樣。
然而,我們有時候需要更靈活的工具:我們希望我們的工具可以像 Linux Shell 一樣,有許多小的零組件,一個零組件只做好一件事,比方說: awk, sed, tr, sort, cat, ... ,卻可以靈活地組合起來,而且,容易自動化。
本文就是要介紹「當代的」資料工程與資料分析技術,這套工具與方法論就像是 Linux Shell 一般地靈活、容易自動化、可以提昇數倍的產出。