技術問答
技術文章
iT 徵才
Tag
聊天室
2025 鐵人賽
登入/註冊
問答
文章
Tag
邦友
鐵人賽
搜尋
2021 iThome 鐵人賽
DAY
26
0
DevOps
中台化轉型
系列 第
26
篇
大數據平台:資料倉儲
13th鐵人賽
HO-HSUN
2021-09-26 02:16:36
1061 瀏覽
分享至
Hive
適用於 PB 等級大數據的儲存,分析和查詢,處李日誌分析和用戶行為模型訓練。
SQL 語法支援
將查詢語法轉換為「抽象語法樹(Abstract Syntax Tree, AST)」以及使用者自定義函式(User-Defined Function, UDF) 產生執行計畫。
結構化資料模型
透過 MetaStore 管理系統元資料,將實際資料儲存於 HDFS,支援多種資料格式:TextFile、SequenceFile、ORCFile、Parquet 和 Avro。
資料運算模組
支援 MapReduce、Spark。
Presto
適用於 GB 到 TB 等級的資料量,在需要即時回應的資料查詢場警,提升商業化服務。
使芿基於「記憶池(Memory Pool)」的資料模型。
系統架構:
Cordinator:負責語法解析產生執行計畫,節點(Worker)管理及任務分發。
Worker:負責與 Hive 和 HDFS 互動,執行任務及實際運算。
SQL 查詢優化,提高系統問定性和執行效率,支援不同資料來源的即時跨平台資料計算。
留言
追蹤
檢舉
上一篇
大數據平台:分散式協調
下一篇
大數據平台:分散式計算
系列文
中台化轉型
共
30
篇
目錄
RSS系列文
訂閱系列文
6
人訂閱
26
大數據平台:資料倉儲
27
大數據平台:分散式計算
28
大數據平台:分散式檔案
29
大數據平台:訊息中介
30
大數據平台:叢集管理
完整目錄
熱門推薦
{{ item.subject }}
{{ item.channelVendor }}
|
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
902
組
團體組數
37
組
累計文章數
19753
篇
完賽人數
529
人
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
看更多
15th鐵人賽
16th鐵人賽
13th鐵人賽
14th鐵人賽
17th鐵人賽
12th鐵人賽
11th鐵人賽
鐵人賽
2019鐵人賽
javascript
2018鐵人賽
python
2017鐵人賽
windows
php
c#
linux
windows server
css
react
熱門問題
桌機三更半夜自動開機不知在幹啥?是在下載還是在上傳資料?嚇死寶寶.去查設定我沒有設定在三更半夜更新或是掃毒呀!去查紀錄亦沒有當日凌晨的瀏覽紀錄,這到底是怎麼一回事,要如何查詢?是被安裝了病毒軟體?
碩士學歷能幫助我突破職涯天花板嗎?
群輝NAS套件Docker部署Outline
維護合約的合理性
如何讓Windows 11 Professional 開啟Synology DS925+網路芳鄰的速度加快?
librenms 25.4.0 重開機都要重新設定
Librenms ssl憑證檢查 通知方式
熱門回答
碩士學歷能幫助我突破職涯天花板嗎?
維護合約的合理性
群輝NAS套件Docker部署Outline
桌機三更半夜自動開機不知在幹啥?是在下載還是在上傳資料?嚇死寶寶.去查設定我沒有設定在三更半夜更新或是掃毒呀!去查紀錄亦沒有當日凌晨的瀏覽紀錄,這到底是怎麼一回事,要如何查詢?是被安裝了病毒軟體?
librenms 25.4.0 重開機都要重新設定
熱門文章
資安入門與實務應用介紹 28:APT(高階持續性威脅)攻擊解析與防範方法
D30|AI 時代的資訊判讀力:防詐、反假、識謊的新資安素養
資安入門與實務應用介紹 29:智能合約漏洞與加密貨幣詐騙案例分析
Day 7:防火牆配置與流量過濾(Firewall Configuration and Traffic Filtering)
Day 25:社交工程防範訓練方法(Social Engineering Defense Training)
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}