技術問答
技術文章
iT 徵才
聊天室
2025 鐵人賽
登入/註冊
問答
文章
Tag
邦友
鐵人賽
搜尋
2024 iThome 鐵人賽
DAY
14
0
佛心分享-我的證照是這樣攻略的
老闆,外帶一份 AWS Certified Data Engineer
系列 第
14
篇
【Day 14】 資料倉儲 (Data Warehouse) 的概念
16th鐵人賽
aws
dea-c01
二坪山小弱砲
2024-09-28 23:58:34
447 瀏覽
分享至
這篇針對 Data Warehouse 的名詞做些解釋,和先前提到的名詞進行比較。
概念
「資料湖」和「資料倉庫/倉儲」的差異是什麼?
建議可以參考資料:
https://aws.amazon.com/tw/compare/the-difference-between-a-data-warehouse-data-lake-and-data-mart/
先說
資料湖
先前不斷地說「資料湖」就是「菜渣集中」,即是因為資料湖一詞本身代表的是「集中管理」散落的孤島的資料、打破藩籬。 難保證存放在資料湖裡面的東西的品質、格式。 很多東西只是先存放起來,還沒整理過的。
資料湖中可能包含一些檔案,如「非結構化資料」的
圖檔
、
pptx投影片
、
xls報表
、
網頁
、
影片
⋯⋯
資料湖中也有可能含有一些「結構化資料」,如
出生死亡人口csv檔
、
再來談
資料倉儲
的定義
來自交易處理系統、操作資料庫和企業營運應用程式的關聯式資料。
白話文就是:
可以直接拿來畫 BI (常譯作:商業智慧 / 全文:Business Intelligence) 的資料。
重點:
只能是結構化資料
、而且都是消化過的,
通常不會很佔空間
有些會特別強調
BI
和
報表
的差異:
BI 比較智慧
BI 有可視化的圖、直覺易懂
報表都是數字和表格、不智慧、不直覺、old school、not fancy
AWS 提出的「解決方案」
AWS 如何協助滿足您的資料儲存需求?
AWS 提供最廣泛的分析服務選擇,可滿足您的所有資料分析需求。我們讓各種規模的產業和組織,能夠利用資料來重塑其業務。下面是如何使用 AWS 的一些範例:
使用
Amazon Redshift
來滿足您的資料倉儲和資料市集需求。在操作資料庫、資料湖、資料倉儲和數千個第三方資料集中,對複雜的擴展資料執行即時與預測性分析,以取得整合式洞察。您可以輕鬆地自動建立、訓練和部署機器學習模型。
使用
AWS Lake Formation
,在幾天內即可建置、管理和保護資料湖。從您所有的資料來源快速匯入資料,然後在集中式資料目錄中加以說明及管理。
使用 Amazon S3,針對大數據分析、人工智慧、機器學習和高效能運算應用程式建置自訂資料湖。
結論
簡單的總結: 資料倉儲這一塊,已經是消化過的、處理過的資料,可以拿來產美美報表了。 例如產出「全國各里超商取貨購買商品分佈圖/ geospatial charts」、「疫情確診人數與銷售額關係/折線圖」之前,所需用到的資料。
誰會看? 給老闆、CEO、決策者之類成功人士看的圖表。
考試的時候,如果問到如何實現,只有兩個常見的選項「Amazon Redshift」和「AWS Lake Formation」
在後續看到題目後再進行補充
留言
追蹤
檢舉
上一篇
【Day 13】 NoSQL 非關連式資料庫的基本概念
下一篇
【Day 15】 做題庫小試身手 - 2
系列文
老闆,外帶一份 AWS Certified Data Engineer
共
30
篇
目錄
RSS系列文
訂閱系列文
10
人訂閱
26
【Day 26】 做題庫小試身手 - 7
27
【Day 27】 做題庫小試身手 - 8
28
【Day 28】 做題庫小試身手 - 9
29
【Day 29】 做題庫小試身手 - 10
30
【Day 29】 做題庫小試身手 - 11
完整目錄
熱門推薦
{{ item.subject }}
{{ item.channelVendor }}
|
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
902
組
團體組數
37
組
累計文章數
19843
篇
完賽人數
528
人
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
15th鐵人賽
16th鐵人賽
13th鐵人賽
14th鐵人賽
17th鐵人賽
12th鐵人賽
11th鐵人賽
鐵人賽
2019鐵人賽
javascript
2018鐵人賽
python
2017鐵人賽
windows
php
c#
linux
windows server
css
react
熱門問題
iOS 裝置無法透過 IPsec VPN 連入 FortiGate,請問正確設定方式?
EPSON LQ-690C 印表機中一刀跑版
[Javascript] 非同步執行,如何延緩後面程式的處理 ??
印表機設定 - Epson 690c
AARQ 通訊協議是?
Dell or Asus 伺服器,哪牌比較好?
Dell or Asus Storage 或NAS,哪牌比較好?
將硬碟上的 EFI 分割區複製到固態硬碟後,ARM 架構的 Ubuntu Server 無法啟動
sdray vigor2927 sslvpn ip設定問題
熱門回答
iOS 裝置無法透過 IPsec VPN 連入 FortiGate,請問正確設定方式?
EPSON LQ-690C 印表機中一刀跑版
[Javascript] 非同步執行,如何延緩後面程式的處理 ??
印表機設定 - Epson 690c
Dell or Asus 伺服器,哪牌比較好?
熱門文章
Vue 的this跟 js 的this有什麼不同?為什麼能直接存取屬性? componentInstance(元件實例)
DNS 可見度差距:防火牆在網路安全中忽略的錯誤設定
告別「N 個 resize 監聽器」改用 React Context API 改善網頁效能
[資料治理實戰回憶錄]0-從失敗中開始
台灣職場必學的Excel函數技巧
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}