Hadoop實作簡易的SQL查詢

hadoop

asami1234 2013-01-14 20:36:08 ‧ 5371 瀏覽

分享至

這幾天把單機版的Hadoop環境給架起來了，想試看看實作一個題目，題目是這樣的：
有一個資料庫，裡面有兩個欄位，分別是index 和 name
然後先假設輸入10000筆資料進去，然後我想要找出name內容有abc的index
以SQL語法是寫 select name from tablexx where name="abc"
但我想利用Hadoop的力量幫我分割好幾台運算，那我該怎麼實作呢？我還需要懂什麼呢？
pig Mahout hive hivesql ??
讓hadoop幫我分成10台運算，每台只要運算1000筆的資料，這樣是不是會比較快。
因為網路上找到這種簡易實作的資訊不多，所以才想說上來這邊問一下大家。

登入發表討論

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

2 個回答

pojen

iT邦研究生 5 級 ‧ 2013-01-15 08:14:57

最佳解答

可以在 hive 下直接用 SQL 來找你需要的資料. 我測試時是直接 deploy Cloudra 的安裝包. 安裝完後就可以直接使用 beeswax 下的 hive 來搜尋資料. (beeswax 內帶 data/table import 工具, 不須 sqoop)

回應 1
分享
檢舉

asami1234 iT邦新手 5 級 ‧ 2013-01-15 11:53:12 檢舉

我自己昨天有看到國網中心的抓抓龍，搞不好可以來實作這件事情，你有用過嗎？希望能跟你一起討論。

登入發表回應

Albert

iT邦高手 1 級 ‧ 2013-01-15 01:14:13

asami1234提到：
然後先假設輸入10000筆資料進去，
然後我想要找出name內容有abc的index
以SQL語法是寫 select name from tablexx where name="abc"
但我想利用Hadoop的力量幫我分割好幾台運算，那我該怎麼實作呢？我還需要懂什麼呢？

我抓到一次
2千萬筆一次解決
分100次不會比較快
請參考我們的先進排程矩陣運算
我們在全台最大電腦公司有完整範例
歡迎加入領 9個月年終獎金哪一家A字頭公司
....