iT邦幫忙

2026 iThome 鐵人賽

DAY 4
0

今天還沒有看任何的影片,沒有更新學習新的東西,發現 docker 和 minikube 關機之後需要重新啓動,這表示
我對於影片中和現實中的實現,還是有一些落差,這些落差也體現在概念的理解和掌握上。真實的具有發展能力,不是部屬過程不出錯,而是經由專業的實作經驗,能夠具體判斷發生的情況,採取對的步驟,否則就算有 AI 也沒有辦法,正確還原事情發生的順序,與累積正確的經驗,所以先整理命令的記錄,讓狀態可以被重現,掌握虛擬環境哪些裝置需要開啓或者進行連接,並且進行檢測,這是必要的。 重新打開 minikube 之後,後面新增網路服務都很順利了,把影片跑到 12:41。 可惜, http://foo.bar.com/ 自定的虛擬 host 和 tunnel 無法順利回報文字訊息。 一直跑到 15:17 的
helm 複製整分的虛擬容器服務系統。

官方影片,預告有兩個平臺可以佈置 k8s 容器平臺。
$$$ 集群環境與資源檢查

  • 內容重點:影片開頭展示了用於測試的 Kubernetes 集群狀態。
  • 集群規格:包含 5 個 Nodes(來自 AWS 等環境),總計約有 180 GB 記憶體48 核 CPU,用來演示 YuniKorn 的資源調度能力。

$$$ Spark 任務調度與資源不足時的排隊(Pending)機制

  • 內容重點:示範大數據引擎 Spark 在 YuniKorn 上的調度情形,以及當 Queue 資源用盡時的預期行為。
  • Spark 任務成功執行:利用 Spark 提交腳本與 Pod Template(設定 Application ID、Queue 以及指定 schedulerName: yunikorn)執行 Spark Pi 任務。UI 上可清楚看見 Driver 與 Executor 的資源消耗,任務順利完成。
  • 資源不足導致 Pending:嘗試將另一個 Spark 任務提交至已無剩餘資源的 sandbox queue。由於該 Queue 的容量已完全被第一個批次任務佔滿,Spark 任務的 Driver 狀態顯示為 Pending,成功示範了資源隔離與排隊等待機制。

上一篇
day3 : yunikorn 容器運行優化工具 與 Kubernates 基礎
下一篇
補充資料1 : Kafka 分散式串流平台-細節
系列文
30 天打造我的個人雲端實驗室:用 Docker、Kubernetes、Flyte 和自建服務,重構手機與電腦的日常工作流8
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言