技術問答
技術文章
iT 徵才
Tag
聊天室
2024 鐵人賽
登入/註冊
問答
文章
Tag
邦友
鐵人賽
搜尋
2024 iThome 鐵人賽
DAY
14
0
佛心分享-我的證照是這樣攻略的
老闆,外帶一份 AWS Certified Data Engineer
系列 第
14
篇
【Day 14】 資料倉儲 (Data Warehouse) 的概念
16th鐵人賽
aws
dea-c01
二坪山小弱砲
2024-09-28 23:58:34
97 瀏覽
分享至
這篇針對 Data Warehouse 的名詞做些解釋,和先前提到的名詞進行比較。
概念
「資料湖」和「資料倉庫/倉儲」的差異是什麼?
建議可以參考資料:
https://aws.amazon.com/tw/compare/the-difference-between-a-data-warehouse-data-lake-and-data-mart/
先說
資料湖
先前不斷地說「資料湖」就是「菜渣集中」,即是因為資料湖一詞本身代表的是「集中管理」散落的孤島的資料、打破藩籬。 難保證存放在資料湖裡面的東西的品質、格式。 很多東西只是先存放起來,還沒整理過的。
資料湖中可能包含一些檔案,如「非結構化資料」的
圖檔
、
pptx投影片
、
xls報表
、
網頁
、
影片
⋯⋯
資料湖中也有可能含有一些「結構化資料」,如
出生死亡人口csv檔
、
再來談
資料倉儲
的定義
來自交易處理系統、操作資料庫和企業營運應用程式的關聯式資料。
白話文就是:
可以直接拿來畫 BI (常譯作:商業智慧 / 全文:Business Intelligence) 的資料。
重點:
只能是結構化資料
、而且都是消化過的,
通常不會很佔空間
有些會特別強調
BI
和
報表
的差異:
BI 比較智慧
BI 有可視化的圖、直覺易懂
報表都是數字和表格、不智慧、不直覺、old school、not fancy
AWS 提出的「解決方案」
AWS 如何協助滿足您的資料儲存需求?
AWS 提供最廣泛的分析服務選擇,可滿足您的所有資料分析需求。我們讓各種規模的產業和組織,能夠利用資料來重塑其業務。下面是如何使用 AWS 的一些範例:
使用
Amazon Redshift
來滿足您的資料倉儲和資料市集需求。在操作資料庫、資料湖、資料倉儲和數千個第三方資料集中,對複雜的擴展資料執行即時與預測性分析,以取得整合式洞察。您可以輕鬆地自動建立、訓練和部署機器學習模型。
使用
AWS Lake Formation
,在幾天內即可建置、管理和保護資料湖。從您所有的資料來源快速匯入資料,然後在集中式資料目錄中加以說明及管理。
使用 Amazon S3,針對大數據分析、人工智慧、機器學習和高效能運算應用程式建置自訂資料湖。
結論
簡單的總結: 資料倉儲這一塊,已經是消化過的、處理過的資料,可以拿來產美美報表了。 例如產出「全國各里超商取貨購買商品分佈圖/ geospatial charts」、「疫情確診人數與銷售額關係/折線圖」之前,所需用到的資料。
誰會看? 給老闆、CEO、決策者之類成功人士看的圖表。
考試的時候,如果問到如何實現,只有兩個常見的選項「Amazon Redshift」和「AWS Lake Formation」
在後續看到題目後再進行補充
留言
追蹤
檢舉
上一篇
【Day 13】 NoSQL 非關連式資料庫的基本概念
下一篇
【Day 15】 做題庫小試身手 - 2
系列文
老闆,外帶一份 AWS Certified Data Engineer
共
30
篇
目錄
RSS系列文
訂閱系列文
3
人訂閱
26
【Day 26】 做題庫小試身手 - 7
27
【Day 27】 做題庫小試身手 - 8
28
【Day 28】 做題庫小試身手 - 9
29
【Day 29】 做題庫小試身手 - 10
30
【Day 29】 做題庫小試身手 - 11
完整目錄
直播研討會
{{ item.subject }}
{{ item.channelVendor }}
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
1064
組
團體組數
40
組
累計文章數
22201
篇
完賽人數
602
人
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
看更多
15th鐵人賽
16th鐵人賽
13th鐵人賽
14th鐵人賽
12th鐵人賽
11th鐵人賽
鐵人賽
2019鐵人賽
javascript
2018鐵人賽
python
2017鐵人賽
windows
php
c#
windows server
linux
css
react
vue.js
熱門問題
熟識南投軟體工程師推薦
如何練國考資訊題?
筆電無法使用usb開機重裝系統
CCNA相關問題詢問
電商在販售商品時,可以自行縮短保固期限嗎?
求救 有人會修改cookie權限嗎
python scrapy pipeline實作問題請教
防火牆互通問題
函數問題
桌面的使用者文件圖標壞掉
熱門回答
防火牆互通問題
筆電無法使用usb開機重裝系統
if函數中的>&<&=是否可以使用儲存格代替
開啟Microsoft Edge 瀏覽器無法開啟網頁,出現錯誤訊息
熟識南投軟體工程師推薦
熱門文章
每日一篇學習筆記 直到我做完專題 :( [Day1]
每日一篇學習筆記 直到我做完專題 :( [Day2]
[翻譯]使用AI工具寫程式碼時如何避免「AI幻覺」?
每日一篇學習筆記 直到我做完專題 :( [Day3]
每日一篇學習筆記 直到我做完專題 :( [Day4]
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}