技術問答
技術文章
iT 徵才
Tag
聊天室
2024 鐵人賽
登入/註冊
問答
文章
Tag
邦友
鐵人賽
搜尋
2021 iThome 鐵人賽
DAY
26
0
DevOps
中台化轉型
系列 第
26
篇
大數據平台:資料倉儲
13th鐵人賽
HO-HSUN
2021-09-26 02:16:36
805 瀏覽
分享至
Hive
適用於 PB 等級大數據的儲存,分析和查詢,處李日誌分析和用戶行為模型訓練。
SQL 語法支援
將查詢語法轉換為「抽象語法樹(Abstract Syntax Tree, AST)」以及使用者自定義函式(User-Defined Function, UDF) 產生執行計畫。
結構化資料模型
透過 MetaStore 管理系統元資料,將實際資料儲存於 HDFS,支援多種資料格式:TextFile、SequenceFile、ORCFile、Parquet 和 Avro。
資料運算模組
支援 MapReduce、Spark。
Presto
適用於 GB 到 TB 等級的資料量,在需要即時回應的資料查詢場警,提升商業化服務。
使芿基於「記憶池(Memory Pool)」的資料模型。
系統架構:
Cordinator:負責語法解析產生執行計畫,節點(Worker)管理及任務分發。
Worker:負責與 Hive 和 HDFS 互動,執行任務及實際運算。
SQL 查詢優化,提高系統問定性和執行效率,支援不同資料來源的即時跨平台資料計算。
留言
追蹤
檢舉
上一篇
大數據平台:分散式協調
下一篇
大數據平台:分散式計算
系列文
中台化轉型
共
30
篇
目錄
RSS系列文
訂閱系列文
6
人訂閱
26
大數據平台:資料倉儲
27
大數據平台:分散式計算
28
大數據平台:分散式檔案
29
大數據平台:訊息中介
30
大數據平台:叢集管理
完整目錄
直播研討會
{{ item.subject }}
{{ item.channelVendor }}
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
1064
組
團體組數
40
組
累計文章數
22183
篇
完賽人數
597
人
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
看更多
15th鐵人賽
16th鐵人賽
13th鐵人賽
14th鐵人賽
12th鐵人賽
11th鐵人賽
鐵人賽
2019鐵人賽
javascript
2018鐵人賽
python
2017鐵人賽
windows
php
c#
windows server
linux
css
react
vue.js
熱門問題
請教舊電腦架網站的防護措施
qr code生成多功能系統
如何用指令自動偵測有插網線的網卡IP
administrators群組成員的管理員權限不見
JS 是否可以匯入「.xls」
請示ip位置的問題
大量寄信伺服器詢問
Web Application 與Web Service 的差異
AB兩點網路使用LTE數據機做連接
如何自製搜尋引擎
熱門回答
請教舊電腦架網站的防護措施
administrators群組成員的管理員權限不見
AB兩點網路使用LTE數據機做連接
JS 是否可以匯入「.xls」
如何讓在中國的同事可以穩定的使用台灣總部的系統服務
熱門文章
Python 中的控制流:讓程式更靈活
Win11 24H2 終於對 NTLM 動手了(感動
Microservice Pattern 犧牲了什麼?
卷 31:iThome 鐵人賽寫作攻略——新手必看指南
Python for in 迴圈與 Tuple 解構
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}