iT邦幫忙

鐵人檔案

2025 iThome 鐵人賽
回列表
AI & Data

資料專案修羅場,30天手把手教你暗黑求生術!!! 系列

AI 的成功取決於穩固的資料基礎,但資料專案的挑戰遠不止於技術。本系列將從真實專案的「人性衝突」切入,剖析利害關係人之間的溝通困境與需求焦慮。

接著,我們將導入系統化的「方法與組織框架」,展示如何透過有效的會議、共識決與管理模式,化解衝突並提升團隊協作效率。最後,深入「資料平台」的技術深水區,分享從 GPU 資源、Spark 任務到資安稽核的實戰踩坑經驗與教訓。

這 30 天,旨在提供一套從人性、流程到技術的完整生存指南,為您的 AI 與資料專案鋪平邁向成功的道路。

參賽天數 23 天 | 共 30 篇文章 | 4 人訂閱 訂閱系列文 RSS系列文
DAY 21

[ Day 21 ] 資料工程師與翻譯蒟蒻

在資料專案中,資料工程師常被誤以為只要寫管線把資料做處理即可,但實際上,真正的挑戰在於理解資料背後的語言——如何從業務需求的語境中,轉譯出能被程式正確理解的邏輯...

DAY 22

[ Day 22 ] Domain Know How 在資料專案裡真的好重要

資料專案中 Domain Know How 的重要性:以洗錢防制案為例(一) 身為一位資料專案經理,我在專案執行期間經常強調 Domain Know How(領...

DAY 23

[ Day 23 ] 資料專案管理:在資料有價的時代,程式功能驗證的必勝法則

資料有價時代的專案管理:Golden Answer 的驗證訣竅 在資料成為企業核心資產的時代,資料專案管理的成敗取決於資料品質與程式可靠性。程式功能驗證是關鍵環...

DAY 23

[Day 24] 請支援 GPU

前言 我們常常需要在客戶現場的資料系統中,處理一些少見而詭異的事情。安排在這系列的第一篇,是我們維護這些大大小小系統以來,最詭異的事件。 在客戶的現場,有一座很...

DAY 23

[ Day 25 ] Spark 死掉了怎麼辦

前言 我們做過的專案中,有一個是基於 CDP 中的 Spark 2,存取 Hadoop 中的大量資料交易資料,運算、整理成防洗錢系統 (AMLS) 所需的交易紀...

DAY 23

[ Day 26 ] 資料平台辨證論治 - Ranger 的稽核日誌分析

前言 很多甲方的單位,對系統環境的使用者操作紀錄都會有規範,要求其稽核日誌應該存放到一定的年限。在 CDP 裡面,也有個服務用來紀錄使用者的操作稽核軌跡。我們會...

DAY 23

[ Day 27 ] Docker image 好多洞怎麼辦

前言 在大多數客戶的資安政策中,Docker image 上版得做資安風險檢測,確定沒有中高級以上的風險才能上版,然而原廠給的 image、Spark on K...

DAY 23

[ Day 28 ] 噓,不要告訴別人這裡有 keytab

前言 CDP 推薦使用 Kerberos 作為認證機制,從使用者到服務的認證,都可以使用 Kerberos。然而,Kerberos 登入有兩個方式,一是使用密碼...

DAY 23

[ Day 29 ] 資料平台辨證論治 - 為 Impala 設定 HA 吧

前言 在 CDP 中,有一些服務是透過 Active-Standby 的方式來實作 HA 機制,但有些服務則是透過把自己複製多份 (replication) 來...

DAY 23

[ Day 30 ] 資料專案的各式小撇步,私房秘訣大公開

30 天資料專案管理實戰全回顧 在大數據產業,資料專案管理遠不只是交付一個系統或工具,它是一場跨越技術、需求、商業目標以及人際協作的長跑。這 30 天的內容,完...

海豚情緒價值管理員的收藏
海豚情緒價值管理員的追蹤
海豚情緒價值管理員的Like
海豚情緒價值管理員的紀錄