ETL用Python寫是否有比較好?

etl python

se7en11 2019-08-27 23:04:50 ‧ 3704 瀏覽

目前Team在做ETL(File to DB或DB to DB)用的方式有：

想問/討論的是
如果要做ETL，用Python寫是否能得到好處?
還是只是比較多開源套件可以用...

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

fuzzylee1688

iT邦研究生 3 級 ‧ 2019-08-28 09:07:21

善用DB原廠提供 LOAD/UNLOAD API工具, 可快速將檔案匯入Table, 再由DB Server MPP效能去處理, 不過這種做法叫ELT, Python在這裏僅是個shell, 整合DB Tools應用, 當然它就不會用的太複雜, 只是包裝程式而已.

se7en11 iT邦新手 5 級 ‧ 2019-08-28 12:57:04 檢舉

感謝，您說的部分我會再研究。
會看上python，主要還是開源etl libary很多，但聽說python語言理念是好開發而非追求高效能。團隊成員又以c#為主，所以值不值投入python，感覺意義上好像不大.

fuzzylee1688 iT邦研究生 3 級 ‧ 2019-08-28 14:04:49 檢舉

可用C#開發Console ETL(處理IO Disk比較有效能)供 Python呼叫也是可行的.

立即登入回答

參賽組數

1064 組

團體組數

40 組

累計文章數

22182 篇

完賽人數

597 人

IT邦幫忙