技術問答
技術文章
iT 徵才
Tag
聊天室
2024 鐵人賽
登入/註冊
問答
文章
Tag
邦友
鐵人賽
搜尋
2024 iThome 鐵人賽
DAY
14
0
佛心分享-我的證照是這樣攻略的
老闆,外帶一份 AWS Certified Data Engineer
系列 第
14
篇
【Day 14】 資料倉儲 (Data Warehouse) 的概念
16th鐵人賽
aws
dea-c01
二坪山小弱砲
2024-09-28 23:58:34
83 瀏覽
分享至
這篇針對 Data Warehouse 的名詞做些解釋,和先前提到的名詞進行比較。
概念
「資料湖」和「資料倉庫/倉儲」的差異是什麼?
建議可以參考資料:
https://aws.amazon.com/tw/compare/the-difference-between-a-data-warehouse-data-lake-and-data-mart/
先說
資料湖
先前不斷地說「資料湖」就是「菜渣集中」,即是因為資料湖一詞本身代表的是「集中管理」散落的孤島的資料、打破藩籬。 難保證存放在資料湖裡面的東西的品質、格式。 很多東西只是先存放起來,還沒整理過的。
資料湖中可能包含一些檔案,如「非結構化資料」的
圖檔
、
pptx投影片
、
xls報表
、
網頁
、
影片
⋯⋯
資料湖中也有可能含有一些「結構化資料」,如
出生死亡人口csv檔
、
再來談
資料倉儲
的定義
來自交易處理系統、操作資料庫和企業營運應用程式的關聯式資料。
白話文就是:
可以直接拿來畫 BI (常譯作:商業智慧 / 全文:Business Intelligence) 的資料。
重點:
只能是結構化資料
、而且都是消化過的,
通常不會很佔空間
有些會特別強調
BI
和
報表
的差異:
BI 比較智慧
BI 有可視化的圖、直覺易懂
報表都是數字和表格、不智慧、不直覺、old school、not fancy
AWS 提出的「解決方案」
AWS 如何協助滿足您的資料儲存需求?
AWS 提供最廣泛的分析服務選擇,可滿足您的所有資料分析需求。我們讓各種規模的產業和組織,能夠利用資料來重塑其業務。下面是如何使用 AWS 的一些範例:
使用
Amazon Redshift
來滿足您的資料倉儲和資料市集需求。在操作資料庫、資料湖、資料倉儲和數千個第三方資料集中,對複雜的擴展資料執行即時與預測性分析,以取得整合式洞察。您可以輕鬆地自動建立、訓練和部署機器學習模型。
使用
AWS Lake Formation
,在幾天內即可建置、管理和保護資料湖。從您所有的資料來源快速匯入資料,然後在集中式資料目錄中加以說明及管理。
使用 Amazon S3,針對大數據分析、人工智慧、機器學習和高效能運算應用程式建置自訂資料湖。
結論
簡單的總結: 資料倉儲這一塊,已經是消化過的、處理過的資料,可以拿來產美美報表了。 例如產出「全國各里超商取貨購買商品分佈圖/ geospatial charts」、「疫情確診人數與銷售額關係/折線圖」之前,所需用到的資料。
誰會看? 給老闆、CEO、決策者之類成功人士看的圖表。
考試的時候,如果問到如何實現,只有兩個常見的選項「Amazon Redshift」和「AWS Lake Formation」
在後續看到題目後再進行補充
留言
追蹤
檢舉
上一篇
【Day 13】 NoSQL 非關連式資料庫的基本概念
下一篇
【Day 15】 做題庫小試身手 - 2
系列文
老闆,外帶一份 AWS Certified Data Engineer
共
30
篇
目錄
RSS系列文
訂閱系列文
3
人訂閱
26
【Day 26】 做題庫小試身手 - 7
27
【Day 27】 做題庫小試身手 - 8
28
【Day 28】 做題庫小試身手 - 9
29
【Day 29】 做題庫小試身手 - 10
30
【Day 29】 做題庫小試身手 - 11
完整目錄
直播研討會
{{ item.subject }}
{{ item.channelVendor }}
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
1064
組
團體組數
40
組
累計文章數
22045
篇
完賽人數
594
人
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
看更多
15th鐵人賽
16th鐵人賽
13th鐵人賽
14th鐵人賽
12th鐵人賽
11th鐵人賽
鐵人賽
2019鐵人賽
javascript
2018鐵人賽
python
2017鐵人賽
windows
php
c#
windows server
linux
css
react
vue.js
熱門問題
[急!] Exchange 系統管理中心 不小心停用了使用者信箱 要怎麼復原
有人公司做過資訊安全演練嗎
excel 如何利用寫入VBA 來做到一鍵執行 「清空剪貼簿」?
資料庫系統
從合規的角度上來說微服務架構當前的壁壘是什麼
WIN11 一直跳出中毒的訊息
PYTHON 工具
windows11 策略編輯器 軟體限制原則失效?
如何讓內網的FortiGate防火牆可以收到韌體更新與下載
有關於Plesk 記憶體使用 的疑惑
熱門回答
WIN11 一直跳出中毒的訊息
如何讓內網的FortiGate防火牆可以收到韌體更新與下載
ORACLE SQL 多筆沖正資料時
有關於Plesk 記憶體使用 的疑惑
PYTHON 工具
熱門文章
PrintNightmare: 沒想到會被 Windows 11 終結
[系統設計]- 容易產生設計盲點
[Day 13] 資訊安全策略的制定與實施
新手入門:無伺服器函數和FaaS簡介
Day1 - 30天學習Python
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}