iT邦幫忙

0

Pentaho 排程求解

  • 分享至 

  • xImage

最近剛學習 ETL Pentaho

目前要達到的效果是,每天透過ETL抓到打卡資料夾裡的TXT,
然後轉置到資料庫。
目前在TransForm 裡直接抓TXT來讀取轉置。
https://ithelp.ithome.com.tw/upload/images/20220701/20147438YhIX1RZu13.png

問題:
如果要用到排程,
有沒有程式或方法可以啟動 ETL 到特定的資料夾,然後抓昨天的紀錄檔。
排程這部分我還沒學過,有大概看文章,所以不也太懂。
大概知道如何每天開起ETL然後執行JOB。

圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

1 個回答

0
海綿寶寶
iT邦大神 1 級 ‧ 2022-07-01 09:45:27
最佳解答

參考30天完整版
趕時間的話
可參考第29天版

看更多先前的回應...收起先前的回應...
rain_yu iT邦新手 1 級 ‧ 2022-07-04 09:41:15 檢舉

這篇文章我讀過,我主要的問題是:
目前抓TXT方式是指定20220422.txt(如上圖),但我要根據每天的日期抓新的檔案輸入資料庫。
排程看起來是可以每天執行job or transfrom,但是如何動態抓檔才是我想問的。

ETL一般的做法是
「抓TXT,處理完之後,會刪除搬移檔案到別的目錄」
那就可以
用「指定路徑」的方式就好(你貼的圖的 Wildcard 方式)
不必指定檔名

rain_yu iT邦新手 1 級 ‧ 2022-07-04 13:57:55 檢舉

感謝大神,第一句話我不太懂意思。
我大概知道是先做一個transform 獲得檔案名稱,再到這個transform指定路徑,wildcard獲取名稱。
現在又有個問題是,要從 \192.168.X.X\AM,這個路徑抓檔案
但是這路徑 要寫密碼才能登入,這部分有甚麼方式可以克服?

這個路徑問題「產生資料檔案的程式」也會碰到

最簡單的做法就是
在開機登入時就連至 \192.168.x.x\AM (或者 map 個 h: 磁碟機)
先輸入密碼登入

之後在排程 job 裡就不必登入,可直接使用

rain_yu iT邦新手 1 級 ‧ 2022-07-04 15:58:17 檢舉

感謝大神,原來是電腦登入,就可以直接連線。
還有下列問題想了解一下,
開機時就登入這有相關的語法或是功能嗎?
還是說一樣可以用排程做連線?因為沒用過所以不是很懂。
反之如果用JOB登入,適用哪一種input?

可參考官方說明

rain_yu iT邦新手 1 級 ‧ 2022-07-05 09:01:56 檢舉

感謝大神,讚嘆大神,
大部分應該暫時沒有問題了。
問一個額外的問題,網路上有賣Pentaho的課程,
您覺得該課程有用嗎?
我有上網下載到電子書簡體版,他的範例講得有點不完整

課程我沒上過
不宜評斷

rain_yu iT邦新手 1 級 ‧ 2022-07-05 09:44:39 檢舉

那大神有在哪裡學Pentaho,可以透露一下嗎?
還是我問的問題其實根本不用學ORZ

我沒學過/沒用過 Pentaho

rain_yu iT邦新手 1 級 ‧ 2022-07-11 09:22:46 檢舉

真不愧是大神

我要發表回答

立即登入回答