小主機當分散式系統lab的可能性: HDFS、K8s、Spark?

小主機分散式系統

kk999 2023-04-13 14:50:16 ‧ 949 瀏覽

分享至

各位大大安安
小弟最近想組個分散式系統玩玩，奈何支援DDR4以上與固態硬碟的二手Server目前都太貴了，而且分散式系統理論上都有軟體容錯用消費者等級的Computer就可以了吧?，我的用途應該就只是抓抓股票資料做點大數據分析沒有要深度學習，應該不用能插GPU的設備，看掏寶一台華碩PN41-5105準系統才1300人民幣，買個5台準系統再買些SSD與RAM做分散式系統3萬5就可以解決。這種想法可行嗎? 壞了可以找台灣華碩修嗎?

PS: 樹莓派太貴了而且不支援SSD同時RAM沒法自行增加，對於Spark或K8s這種Memory Killer記憶體殺手級應用不太友好
PS: HDFS太慢了必須用SSD幫它加速

看更多先前的討論...收起先前的討論...

froce iT邦大師 1 級 ‧ 2023-04-14 08:19:20 檢舉

可行，但淘寶買的台灣華碩不會出保，甚至連出錢要修都不一定可以修。

kk999 iT邦新手 3 級 ‧ 2023-04-14 08:52:26 檢舉

感謝force大大的提醒 :)

sam0407 iT邦大師 1 級 ‧ 2023-04-14 11:23:20 檢舉

如果只是玩玩，我會先用VＭ來作....
桌機擴充記憶體和SSD比較省錢。並且考慮到以後不想玩了，也不會多5台閒置設備。

eric19740521 iT邦新手 1 級 ‧ 2023-04-17 07:14:26 檢舉

以前!我買過2手server,比你找的便宜.但是聲音很大.然後要放在冷氣房...如果以後要走這條路,那就買吧!!那種等級的,壞的快,應該是硬碟...但我會去買2手pc...理由2手零件便宜/軟體也取得方便..維修方便

kk999 iT邦新手 3 級 ‧ 2023-04-21 11:59:24 檢舉

感謝sam0407大大， eric19740521大大的建議

登入發表討論

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

1 個回答

Ray

iT邦大神 1 級 ‧ 2023-04-13 15:27:37

最佳解答

樹莓派 ARM 能做的, 沒理由一台 11 代 Intel Pentium Silver 或 Celeron 辦不到...

ARM Cortex-A72 4 Core 的 Passamrk 才跑到 729,
人家 Intel Celeron N4500 都可以上到 1992 了:
https://www.cpubenchmark.net/compare/4077vs4227/ARM-Cortex-A72-4-Core-2000-MHz-vs-Intel-Celeron-N4500
若你是擔心 CPU 慢, 可以看看上面的數據.

樹莓派都可以拿來跑 k8s 了:
https://anthonynsimon.com/blog/kubernetes-cluster-raspberry-pi/

Ceph 原廠還教你用樹莓派組分散式儲存:
https://ceph.io/en/news/blog/2022/install-ceph-in-a-raspberrypi-4-cluster/

Hadoop 也行:
https://dev.to/awwsmm/building-a-raspberry-pi-hadoop-spark-cluster-8b2

Spark? 沒問題:
https://scott-ralph.medium.com/creating-an-apache-spark-cluster-with-raspberry-pi-workers-472c2c9a19ce