iT邦幫忙

0

怎麼累積SPARK實務經驗?

現在很多公司都有在找有SPARK經驗的開發人員
大多要求要有實際應用在大型cluster經驗(幾百台VM、資料量TB級等等)
這點讓我有點困惑

如果是想要作SPARK應用開發的新人,工作環境沒有在用SPARK,只能自己學。
除了看書和找範例練習,新人應該很少有機會可以有大型cluster的環境去學習
(頂多自己架個4台VM玩玩...)
尤其像是實務上會遇到的效能、HA、Monitor等這些問題,除非是Production環境,不然也很少會有機會遇到。

想請教大家,都是怎麼去培養實務經驗的呢?

0
r76021061
iT邦新手 4 級 ‧ 2017-04-06 13:15:17
最佳解答

我是這樣玩提供給你

  1. 去Google cloud server 申請300美金試用
  2. 一口氣創建數十台Server 組成Hadoop/Spark群集
  3. 再起一票R server 寫迴圈瘋狂發送訊息給Hadoop/Spark群集
  4. Message queue收好資料再送給Spark Streaming 進行分析
  5. 從Ambari monitor 監看群集效能
  6. 嘗試不同資料結構
  7. 不同的作法成效進行檢定

我是學這位高人的方法
http://www.cnblogs.com/lovecindywang/archive/2011/03/02/1969324.html

Ps:一台4core 32G Server 1hr 大約0.5美金,你想一口氣架100台都行

0
麗麗
iT邦研究生 4 級 ‧ 2017-03-31 09:54:37

我覺得應該可以從相關的工作做起,不過要公司有SPARK職位的才行,這樣可以邊做你選擇的相關工作邊請教SPARK的技術人員,學了更多說不定就可以先調部門看看,這樣就能累積經驗了。
也可以搭配類似這些課程,除了上班時間以外下班時間也可以聽聽相關人員的課程。
Spark巨量資料分析實務班
http://www.ithome.com.tw/pr/101382

2
hsiang11
iT邦研究生 1 級 ‧ 2017-03-31 10:13:07

我是不懂SPARK
不過大型cluster經驗(幾百台VM、資料量TB級等等)
這一聽就知道台灣的公司很多都沒那麼大 扣除掉中小企業
只剩大型企業已經建置出這種架構
這樣會讓我覺得很多公司都在亂開 聽到大數據 物聯網 機器人等等應用的議題
就希望能有人才能幫助公司發展
管市場上有沒有人 管他的 先搶人再說

大型cluster的環境不是每個人都有機會接觸到
除非你原本就待過大公司 看的多做的多
不然這都是機緣 要切入大公司學歷要好語文能力也要強
不一定每個人都可以進去 就像我們不會知道google內部玩到什麼程度了

實務經驗也要先有公司收你才有機會切入
不然一般人也是都只有上過課而已
網路上很多SPARK課程上了就只是了解概念 打了這項基礎之後
再以自己的其他能力切入大公司學習
所以你可以在公司要的其他能力上專精 打出些名氣
用其他能力證明自己
才能找到更好的環境進去玩spark
至於現在的公司怎麽開條件 也不用想太多啦
因為這種職缺也不會那麼快消失 會一直掛在那
不為什麼 因為他們找不到人開著好玩而已

說的很好啊,我們主管也在問這個,但是一聽到要跑這個環境的預算,就傻眼了
其實不光是儲存設備,就連網路環境也要提升到 10G 甚至 40G 的程度才行
就看看每個端點 是 TB 的流量再跑,再去思考網路不弄到那個程度要怎麼跑的動
在去想想,要搞大數據的基本硬體架構要多少錢,搶人,是啊,人有了,硬體環境不行
還不是掛在那而已,真的最後能夠跑什麼也是很有限的

hsiang11 iT邦研究生 1 級 ‧ 2017-03-31 15:09:32 檢舉

台灣IT外行領導內行很常見,很多主管不學也懶的理解,問題都是下面的人在解,上頭只想找很懂的人進來,想管人的問題就好!!
面試過一間約20人的公司,主管就問業界最新的趨勢
我就回答大數據跟物聯網,然後他又接著問你覺得這些技術可以為這小公司帶來的應用有哪些?
我心裡一想你們也玩不起吧 這主管也沒有很懂
我也只不過在網路上有喵到而已 其實我也沒去上課深入了解
主管沒想懂的 公司就只能停滯不前
大家聽到一個新的名詞就覺得很炫就好了 然後舞照跳 飯照吃

0
Senior Bill
iT邦新手 5 級 ‧ 2018-10-03 22:53:37

我也想知道

我要發表回答

立即登入回答