iT邦幫忙

reagan
iT邦新手 5 級 ‧ 點數 125
Senior Redundancy(多餘) Engineer,第一份工作就進智慧醫療產業;堅信救人一命勝造七層浮屠小弟我熱愛做些助人為善的事情(我在台積的學長/學弟/親戚都賺了好幾桶金,淚)。

鐵人檔案

第 11 屆 iT 邦幫忙鐵人賽
回列表
DevOps

公有雲, K8s 的特性改進AI系統以Spark為例 系列

不談數學不談演算法,只談系統原理與特性如何輔助AI,本文將介紹
1.序言:工程師只能做到40歲?如何打造你的永久軟體職業生涯!
2.雲端為何又紅了? & 為何要選K8s?
3.K8s與GKE 那些Feature可以提升Spark效能
4.Story Time: Google與Apache的恩怨情仇
5.CNI(Container Network Interface)原理介紹與提升Spark效能
6.使用Gitlab CD/CI 實做展示
7.GCP實測 SaaS vs Spark on GKE

鐵人鍊成 | 共 32 篇文章 | 22 人訂閱 訂閱系列文 RSS系列文
DAY 1

Day1-軟體工程師的職涯無法超過40歲?如何在這領域安身立命!

業界許多高人分享過K8s這個主題,但很少聊到到整個業界生態或是工程師在這領域的定位與價值?人們常說軟體工程師的職涯無法超過40歲,畢竟軟體發展太快速永遠有/比你...

2019-09-11 ‧ 由 reagan 分享
DAY 2

Day2-文章架構與目錄

小弟心中的30天文章配置是1/3在講當年學的計算機理論在新技術中的印證;時光冉冉歲月如梭雖然青春小鳥一去就不回來,但是我們當年的孜孜不倦並不會白費,1/3在講各...

2019-09-12 ‧ 由 reagan 分享
DAY 3

Day3-雲端為何又紅了? 這次真的會一直紅下去嗎?(1)Container

一開始我們先討論一個問題,老資訊人應該都知道其實在7,8年前雲端就紅過一次 大概在2012年就有像Cloud Foundry這樣的成熟的Open Source...

2019-09-13 ‧ 由 reagan 分享
DAY 4

Day4-雲端為何又紅了?這次真的會一直紅下去嗎?(2)K8s

2.K8s的出現 傳統的分散式AI平台Apache Yarn是圈地式調度,它直接裝在物理機上直接把這些物理機圈起來,這就是Yarn的資源,然後你可以透過Spar...

2019-09-14 ‧ 由 reagan 分享
DAY 5

Day5-雲端為何又紅了?這次真的會一直紅下去嗎?(3)成本與工具

3.成本考量 一.摩爾定律依舊狂奔,台積電的7奈米製程產能滿載,5奈米製程2020Q1就要開始生產,2奈米的目標已經喊出來!加上AMD新Server架構效能大爆...

2019-09-15 ‧ 由 reagan 分享
DAY 6

Day6-調度平台很多,為何用K8s?

這篇我們思考調度平台很多例如: Apache Yarn, Apache Mesos, Docker Swarm,為何用K8s?這裡簡單列4點,歡迎大家進行更多思...

2019-09-16 ‧ 由 reagan 分享
DAY 7

Day7-K8s那些特性可以提升AI系統性能(1)

因為原文是發表在DataCon2019,而資料科學家/資料工程師對K8s比較少接觸所以前面花了很大的篇幅在做K8s的背景介紹,本章開始歸納出5個K8s特性可以...

2019-09-17 ‧ 由 reagan 分享
DAY 8

Day8-K8s那些特性可以提升AI系統性能(2)

2. Label and Label Selector 接下來是Label 透過Label我們可以將IO強大的節點分配給Data Source,擁有眾多計算能力...

2019-09-18 ‧ 由 reagan 分享
DAY 9

Day9-K8s那些特性可以提升AI系統性能(3)

3. Taints and Tolerations Taint讓我們可以在晚上時或CPU利用率較低時,我們可以透過汙染Taint的方式趕走節點上原本的POD/T...

2019-09-19 ‧ 由 reagan 分享
DAY 10

Day10-K8s那些特性可以提升AI系統性能(4)

4.CPU Manager CPU Manager, 讓Spark的executors獨佔CPU核心增加Cache命中率,減少讀取MEM次數,讀MEM不僅比較慢...

2019-09-20 ‧ 由 reagan 分享