iT邦幫忙

2021 iThome 鐵人賽

DAY 30
0
AI & Data

資料三十-那些最基本的資料處理與分析技能系列 第 30

【Day30-回首】成為最晚報名的完賽選手!——心得與文章整理

  • 分享至 

  • xImage
  •  

耶終於來到最後一天了,就稍微整理一下文章和心得

文章整理

基本觀念與心得類

pandas操作小技巧

常見資料類型處理技巧

文字

音訊

影像

序列

視覺化

其他獨立主題

一路走來

約莫兩年前開始踏入資料領域,一路上經過了許多摸索與迷茫
儘管目前的自己比起許多的前輩來說仍顯得十分稚嫩
但覺得能在自己喜歡的地方持續的成長仍然是件挺幸福的事情吧

前人的背影,想嘗試的心

報名今年鐵人賽想法的雛形是大概今年中的時候吧,一方面是面對畢業時的迷茫,另一方面是有很多開始投入這個領域工作的朋友陸續有來詢問一些小問題
因為在學習與查找資料的過程中,經常游走與StackOverflow、CSDN、IThome等技術論壇,受到這些地方非常多的幫助
或許是憧憬孕育了念頭,亦或是焦慮助長了想法
六月、七月、八月、九月,關注什麼時候開始開賽就成了我那段時間最常下意識做的一個行為了

管它那麼多,就隨便吧

然而這世界絕大多數的想法終究只是想法
儘管很早就開始構思,但卻始終沒做任何前期的文章儲備
在報名截至前的最後一個小時我猶豫了
害怕自己又再一次的半途而廢
擔心自己會不會只是三分熱情

「這學期接的東西好像有點多,還是我明年在來吧?」——寫完報名資料的滑鼠停留在了送出鍵上許久
內心裡的想法的糾結絲毫不亞於立法院打架會場,而時間卻是一分一秒的過去

最終在倒數三分鐘的時候,一個「算了就先報吧,反正就儘量寫能寫多少算多少,寫不完就算了」的聲音冒出來,於是一股衝動之下就決定頭洗下去了XD


當初壓線到倒數第二個報名,完全沒想過竟然真的有走到完賽的一天!

極限壓線,略帶遺憾的內容

身為一個專業壓線仔,所有事情都習慣拖到最後一刻
這次大概九成的文章都是在十一點半以後才送出了,其中還包含了

  • 一天去看電影因為沙丘演太久於是只好在外面路上用手機趕快按送出草稿
  • 兩天去台北實習所以住在膠囊旅館裡寫完那天的文
  • 一天生日&公司同事離職聚會過程中在居酒屋趕的文
  • 兩天帶實驗到快淩晨所以趕快拿自己筆記當草稿來修
  • 還有各種各種的狀況...

轉眼之間,我竟然能撐到最後一天也是非常意外
但也因為這樣有很多篇其實不是覺得寫的不夠生動,就是還沒挑到最滿意的例子
雖然很可惜,不過就希望這些都能作為養分讓下一次的自己可以更加成長吧!

最後
不論如何,我終於是完賽啦!!!
在此以最近重新回味的一部劇的臺詞作為結尾

努力不是必然
卻是一切的開始
——《Mr.Bartender》第三季 第2集:夢想並不是努力就可以的 S3 EP2 - YouTube

資料三十-那些最基本的資料處理與分析技能,下臺一鞠躬(≧v≦)/~


上一篇
【Day29-管線】ETL資料工程的必備觀念與流程工具Dagster介紹
系列文
資料三十-那些最基本的資料處理與分析技能30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

1 則留言

0
owo
iT邦新手 3 級 ‧ 2023-09-19 15:25:47

更新一下,本系列的文章的新書上市了喔
大概只有20%是本系列原始的內容,其他大多數內容都是重新添加的,可以更佳系統化的學習或查詢

全書分成6大章節,從最基礎的Python語法和資料概念入門,中間介紹數值及各式資料的處理方法與觀念(影像、音訊、文字),最後則是提供數個專題方向供讀者延伸學習

書籍章節

Ch01資料的概念

  • 1.1 資料的價值
    • 資料的成長趨勢
    • 資料的影響力
    • 資料的應用方式
  • 1.2 資料的型態
    • 這個世界是由系統 + 變數所組成的
    • 常見變數類型介紹
    • 如何儲存 & 處理這些變數
  • 1.3 資料的尺度
    • 資料尺度
    • 常見資料尺度介紹
    • 不同尺度的差別

Ch02 Python 基礎

  • 2.2 Python 環境
    • 安裝 Conda 虛擬環境管理器
    • 安裝 VS Code 編輯器
    • 撰寫你的第一個程式
  • 2.3 基本運算
    • 變數
    • 基本輸入輸出
    • 運算符號
    • Python 資料型態
  • 2.4 流程與控制結構
    • 條件控制
    • 迴圈
    • 函數
    • 套件與引用

Ch03 基本數值資料處理

  • 3.1 numpy
    • 簡介
    • NumPy 陣列基礎
    • 基本運算
    • 線性代數運算
    • 廣播機制
    • 向量化函數操作
  • 3.2 pandas
    • Pandas 簡介
    • Pandas 數據結構
    • Pandas 數據讀取與清理
    • Pandas 數據選擇與操作

Ch04 各式資料處理

  • 4.1 影像資料原理
    • 引言
    • 影像與視覺
    • 影像資料的基本原理
    • 影像資料的進階理解
    • 影像資料的分析方向
  • 4.2 影像資料處理實作
    • 簡介
    • 讀取與顯示
    • 圖片基本操作
    • 影像特徵提取
    • 基本影像處理
  • 4.3 音訊資料原理
    • 引言
    • 音訊與聽覺
    • 音訊資料的基本原理
    • 音訊資料的進階理解
    • 音訊資料的分析方向
  • 4.4 音訊資料處理實作
    • 簡介
    • 讀取與處理
    • 音訊特徵提取
    • 音訊基本處理
  • 4.5 文字資料原理
    • 引言
    • 文字與語義
    • 文字資料的基本原理
    • 文字資料的進階理解
    • 文字資料的分析方向
  • 4.6 文字資料處理實作
    • 文字前處理
    • 關鍵詞提取
    • 文字向量嵌入模型

Ch05 資料前處理

  • 5.1 資料清理
    • 簡介
    • 資料過濾
    • 缺失值處理
    • 重複值處理
    • 離群值處理
  • 5.2 資料轉換
    • 前言
    • 特徵選擇
    • 資料類型轉換
    • 資料編碼
    • 資料縮放
    • 資料分佈轉換
    • 資料增強
  • 5.3 資料視覺化
    • 資料視覺化
    • 資料視覺化實作

Ch06 其他專題補充

  • 6.1 探索式分析(EDA)
    • 探索式資料分析(EDA)
    • 實作:用 AutoEDA 對資料做初步探索
  • 6.2 網頁爬蟲
    • 爬蟲概念介紹
    • 網頁爬蟲實作
    • 爬蟲限制與應注意事項
  • 6.3 機器學習與模型評估
    • 機器學習
    • 模型評估
    • 實作:紅酒品質分類
  • 6.4 用 ChatGPT 建立 QA 回答系統
    • OpenAI API
    • 提示工程的注意事項
    • 實作:使用自有知識庫建立 QA 問答系統
  • 6.5 Hugging Face
    • 簡介
    • 實作:使用 Hugging Face 上的預訓練模型做情緒分類
  • 6.6 資料管線
    • ETL 概念介紹
    • Dagster 簡介
    • 實作:用 Dagster 管理 IThome 文章瀏覽數爬蟲結果
  • 6.7 常見誤區
    • 前言
    • 常見誤區
    • 結語 - 成為更優秀的資料分析師

購書連結:https://portaly.cc/DS-Intro

我要留言

立即登入留言