故事來自今天早上的 [心文] 啟發 :
在導入FAST Cache前報表作業需要2~3小時才能完成,現在僅花費20分鐘。
在車王驗證EMC FAST Cache方案確能突破儲存設備相容性限制後,整個建置過程十分迅速,只針對部分資訊系統的組態進行了一些調校,以使其能善用FAST Cache效能,便完全克服之前遭遇的可用度瓶頸,連擴充儲存系統的空間、電力、和成本都節省下來。
實際上線運作後,在導入FAST Cache前報表作業需要2~3小時才能完成,現在僅花費20分鐘。而在此架構下,車王使用的兩個不同容量儲存設備可同時作為線上和異地備援使用,彼此間並未發生效能干擾現象,充分運用既有投資。
DIGITIMES中文網 原文網址: EMC Fast Cache助車王電子提升ERP效能 http://www.digitimes.com.tw/tw/dt/n/shwnws.asp?id=0000299949_J9Z8L04U5SCL6W80OYQBQ&ct=1#ixzz24swS25TZ
albertachen提到:
硬體暴力美學
一般報表是指所謂月報, 其中又以進銷存月報跑的執行時間最長;
在分析報表執行的時間, 在資料庫動作中其實是撈取資料為最大宗;
以SQL Server撈一個月銷售資料約100萬筆要多久, 有的約10秒, 或有的要2小時;
上例以EMC FAST CACHE 3小時進步到20分鐘約9倍;
我遇到一個例子跑進銷存月報, 突然間跑錯執行計劃約需2小時,
之後開對索引, 跑對執行計劃不到20秒就出來了......
一般公司和SI公司較密切, 所以找的方案較偏向硬體提昇的普遍方案;
又資料庫調校是偏向個案, 有時甚至開發廠商也對資料庫調校沒有深入, 沒此解決方案......
所以一般公司解決方法, 通常是先硬體提昇, 而資料庫調校方面往往擺最後,
或是恰好遇到可供參考案例才會往這方面參考....
charmmih提到:
我遇到一個例子跑進銷存月報, 突然間跑錯執行計劃約需2小時,
之後開對索引, 跑對執行計劃不到20秒就出來了......
架構 [軟體] 優雅美學 , 展現 100 倍 驚人魅力 !!
charmmih提到:
以SQL Server撈一個月銷售資料約100萬筆要多久, 有的約10秒, 或有的要2小時;
這裏是指SQL Server 內部讀取100萬筆一個月資料的速度,
a. 有的資料庫會很精準讀取這100萬筆資料所在的資料區塊;
b. 有些資料庫設計不好, 資料散亂可能要讀到這300萬筆資料所在的資料區塊, 才能涵蓋這100萬筆資料;
c. 有些系統架構設計不好, 沒有使用索引要讀到所有的資料區塊, 才能涵蓋這100萬筆資料;
這是資料庫實際運作上所遇到的問題, 是被隱藏在系統設計下的KNOW-HOW.
用"撈"這字眼, 讓人感覺到前端讀取並顯示的資料, 確實要顯示時, 要考量資料使用者對資料的需求, 依其需求設計資料筆數, 而不是一股腦兒資料丟出來交代使用者.
前半段的第二個粉絲報到!
軟實力要比硬實力重要
系統設計不好,換了硬體只是延長爆掉的時間
View,Update,索引..都是學問
100萬筆去撈..他馬的神經病
有人會去對100萬筆明細??
資料交易,資料採礦..
操作人員,決策人員
即時,歷史..
都有不同作法
要月報,就把交易資料拋轉至歷史資料庫
歷史資料庫在晚上慢慢的轉成報表就好了
大師 的做法
與 SAP 比較接近的構思
大師 軟實力身段 大大優於 硬體暴力美學
即時,歷史..
都有不同作法
要月報,就把交易資料拋轉至歷史資料庫
歷史資料庫在晚上慢慢的轉成報表就好了
不管黑貓白貓,只要會抓老鼠的就是好貓.
原始程式寫的再好, 如果能用硬體暴力加快處理速度, 有無不可. 與其慢慢的校調 OLTP 讓他跑報表, 到不如直接放到記憶體讓他跑. (如 O 家的 TimesTen) 或是 M 記的 Columnstore index, 或是乾脆直上 Exadata 在儲存池直接就把問題解決了.
如 pantc328 所說, 在資料庫的世界裡, 牽一髮則動全身, 多了一個 index 或許加快的某幾個 query, 但也可能同時搞砸另外的執行計畫. DBA 又有多少時間慢慢的建與管理 hint, baseline, profile. (喔.. 另外一個問題是要去哪裡找到有這種技術的人員? 而不是半桶水只會跟著 advistor 建 index ) 我對於新人的要求從 senior 到 mid-level 到 junior. 而現在我已經連大學剛畢業的都沒關係了... 還希望 albertachen 能夠多多分享在哪能找到這麼多的人才.
我對於新人的要求從 senior 到 mid-level 到 junior.
而現在我已經連大學剛畢業的都沒關係了...
還希望 albertachen 能夠多多分享在哪能找到這麼多的人才.
紀律永永遠遠 比 Level 更重要
很多Senior 用 Senior 用他可以 快速寫好的方式寫程式 不是用最完整的架構寫程式
albertachen提到:
紀律永永遠遠 比 Level 更重要
紀律是在有SOP遵循下....
要有人做出SOP喔...
pojen提到:
而不是半桶水只會跟著 advistor 建 index
確實要瞭解SQL如何在資料庫跑, 也就是對執行計劃有一定的瞭解;
若是能對資料的交易(INSERT , UPDATE, DELETE)在資料區塊的分佈瞭解,
也就是做到精準的 IO READ 更能使資料庫效能極致發揮.
暴力美學...藉由硬體速度的提升來增加處理效率5~10倍 (看得到的投資, 老闆肯買單)
阿伯美學...藉由程式流程的改善來增加處理效率10倍以上(看不見的投資, 預算過不了)
阿伯大是這個意思嗎?
[:tecksin 大師] 英明
上次一個客戶 說 花 300萬買硬體 老闆不會懷疑
花 時間改程式 老闆會懷疑 以前不用心解決問題
你太厲害
改軟體不用錢
albertachen提到:
花 時間改程式 老闆會懷疑 以前不用心解決問題
是啊....那個開發廠商會做不花錢的主動改善,
所以啦....除非是客戶去找的第三方顧問改善, 才會收到錢...
albertachen提到:
以前不用心解決問題
我想...這個...我都用腦...
能看到正港的阿伯大回來,真是太好了~
wiselou提到:
我想...這個...我都用腦...
老闆都是用嘴去解決問題的...
tecksin提到:
老闆都是用嘴去解決問題的...
如果有美美的MIS,那麼用.....“身體”解決也可以啦~~
ted99tw提到:
美美的MIS
老闆!我可以配合加班!!
ted99tw提到:
美美的MIS
馬上調去秘書室...
wiselou提到:
老闆!我可以配合加班!!
12560! 御膳房還缺一個人手, 稍息之後立刻去報到!
tecksin提到:
御膳房還缺一個人手....
大內禁區,報到前,先去找老王,身上該刴的要先刴一刴.....
ted99tw提到:
大內禁區,報到前,先去找老王,身上該刴的要先刴一刴....
找海公公或韋副總管也是可以的........
ted99tw提到:
身上該刴的要先刴一刴.....
做人體壽司之前要先去骨嗎?
pantc328提到:
即時,歷史..
都有不同作法
要月報,就把交易資料拋轉至歷史資料庫
歷史資料庫在晚上慢慢的轉成報表就好了
某家國際大廠的在手量是用算的,即開帳數量加減異動量,就是現在的在手量,剛上線還好,1,2年後,資料增多了,速度就變慢了,所以,硬體設備很重要
wilson1966提到:
在手量是用算的,即開帳數量加減異動量,就是現在的在手量
在手量--- 就是商品即時庫存, 即上月的月結量+本月的庫存異動量,
這方面就是庫存算作業, 在資料庫調整的經驗, 有幾個方面供你參考:
當每一家門市的1萬個商品庫存, 在庫存重算作業僅需5秒就完成;
這種 AP-DB-SQL調整效益是很顯著的.
charmmih提到:
當每一家門市的1萬個商品庫存, 在庫存重算作業僅需5秒就完成;
這個庫存重算作業時間, 要依重算時機而定:
月初約5秒完成, 月底可能需要到1分鐘才能完成.