資料從Power Query匯入到Power BI非常緩慢(可能跟SQL查詢有關)

power bi desktop power bi powerquery sql

lucien666 2023-04-17 17:35:32 ‧ 1427 瀏覽

分享至

各位大大安安
我在匯入資料的時候非常非常的慢

我的資料來源是MYSQL
在Power Query中用進階編輯器將資料導入的
卡在這個畫面超過30分鐘了@@

我在想可能是SQL查詢要很久?
但是因為要撈全部的資料進去,
所以我的SQL語法是沒有設時間的(就是全部資料都進去),
我不確定是不是這個原因@@?
如果我需要讓報表呈現所有時間的資料(再放時間篩選器給使用者自行選擇需要的時間段),
有更好的方法嗎?

麻煩各位大大指點<(_ _)>

看更多先前的討論...收起先前的討論...

player iT邦大師 1 級 ‧ 2023-04-17 18:55:28 檢舉

1.資料筆數
2.SQL查詢的複雜度 (篩選條件與Join條件)
3.資料傳輸是否牽涉到網路傳輸? 大量資料最好都放在同一台裡, 不然經過網路傳輸時會做一些額外的轉換

deh iT邦研究生 1 級 ‧ 2023-04-17 22:43:28 檢舉

推樓上，並補一個關鍵字index，你可以先執行TSQL看看到底要花多長時間，DBA會成為一個職業是有原因的......

lucien666 iT邦新手 5 級 ‧ 2023-04-18 14:02:45 檢舉

@player 大大
1.資料不少,不同的表資料筆數也不一樣,少的可能10幾筆,最多的會到1500+
2.SQL查詢有幾張表確實是比較複雜
3.傳輸是從外包的DB那邊過來,所以是涉及網路傳輸的,但是是屬於同一個DB

lucien666 iT邦新手 5 級 ‧ 2023-04-18 14:07:07 檢舉

@deh 大大
請問TSQL指的是Transact-SQL嗎?
不好意思,我真的很菜,能不能給我更明確的方向呢?
我嘗試用過EXPLAIN,但看不懂,
我看網路文章說要看type,但我不知道要怎麼讓它效率更好

登入發表討論

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

1 個回答

海綿寶寶

iT邦大神 1 級 ‧ 2023-04-18 07:33:08

所以我的SQL語法是沒有設時間的(就是全部資料都進去),
我不確定是不是這個原因@@?

假設你的資料範圍是10年
你可以先設個一年半載的先轉轉看
一來確定 SQL 指令沒錯
二來可以知道大概「轉一年資料要花的時間」
接著再逐漸加大資料範圍

如果我需要讓報表呈現所有時間的資料(再放時間篩選器給使用者自行選擇需要的時間段),
有更好的方法嗎?

把順序倒過來
1.讓使用者選擇需要的時間段
2.即時連到資料庫然後呈現資料

回應 1
分享
檢舉

lucien666 iT邦新手 5 級 ‧ 2023-04-18 13:42:30 檢舉

我們的資料其實只接近1年,但是報表使用者希望持續累積,
SQL的語法都有先測過,可以正常運行,但都要花一點時間,
請問大大"把順序倒過來"這個部分實際上要怎麼做?
有沒有參考教學的資料(文章/影片)?
我有聽說direct query好像可以?
但是我們是MYSQL,我看官方文件好像direct query不支援?

--20230419 09:13
我昨天爬了一下文,
網路上有人說可以選mariadb匯入選項,然後選mysql的資料就可以用direct query?
我試了一下,資料可以進去,但是切filter會出現錯誤,不知道是哪邊沒有設好@@?
不知道有沒有大大試過?

登入發表回應