iT邦幫忙

鐵人檔案

2021 iThome 鐵人賽
回列表
AI & Data

資料三十-那些最基本的資料處理與分析技能 系列

內容主要包含對資料分析的概念和實際操作
並且透過實際遇到問題的例子來提供說明

然後參賽順便當作筆記來用ヽ(・∀・)ノ

鐵人鍊成 | 共 30 篇文章 | 6 人訂閱 訂閱系列文 RSS系列文
DAY 1

【Day01-資料】什麼才叫做資料?不就是資料嗎還有什麼差別?

在這個演算法當道的時代 每一家網路公司在想辦法儘量的搜集使用者的資訊 不論是蘋果限制臉書獲取使用者的資料 還是Google花大筆鈔票買下Safari預設搜尋引擎...

2021-09-16 ‧ 由 owo 分享
DAY 2

【Day02-尺度】40°C為什麼不是20°C的兩倍?

我們昨天提到了資料的類型,那今天就來講一講資料的尺度(Scale) 先釐清一下 這邊所提到的尺度不是指什麼數量級的那種 而是指要如何比較與操作一個數值的衡量尺度...

2021-09-17 ‧ 由 owo 分享
DAY 3

【Day03-表格】為什麼熊貓(pandas)是用來處理表格的工具?

前兩天我們稍微說明了一下對於看待資料的一些基本觀念 那今天就來開始實際對資料做一些操作吧 環境需求: python程式環境 程度需求: 對python有...

2021-09-18 ‧ 由 owo 分享
DAY 4

【Day04-檔案】你知道Excel最大可以開多少筆資料嗎?

前一天我們介紹了用來資料處理最基本的pandas套件 那今天我們則是來談一下不同的檔案類型 我們都知道不同的檔案後綴表示不同的類型 但是面對那些txt, csv...

2021-09-19 ‧ 由 owo 分享
DAY 5

【Day05-遍歷】不要再只會用for迴圈了,你值得擁有更好的選擇-apply

第三天我們簡單介紹了處理表格的pandas套件 接下來就要開始對資料進行處理了 我們都知道電腦比起人類來說,最大的優勢就是可以快速的執行相同的操作 因此學會如何...

2021-09-20 ‧ 由 owo 分享
DAY 6

【Day06-合併】發動魔法卡,融合——在python中如何合併list, dict, set, np.array, pd.DataFrame?

在處理資料的過程中 很常會需要面對到將兩筆分開處理好的資料合併起來的情況 因此今天就來談一下在python中要如何對常見的那些資料類型進行合併吧 不是這種合...

2021-09-21 ‧ 由 owo 分享
DAY 7

【Day07-篩選】我全都要?啊還是挑一下吧——在python中如何篩選list, dict, pd.DataFrame

有的時候我們處理資料難免會遇到需要篩選的時候 畢竟總不可能隨時都一句「我全都要」吧 我全都要(圖片來自網路) 因此我們今天來談一下在python中那些對資...

2021-09-22 ‧ 由 owo 分享
DAY 8

【Day08-比較】我們不一樣——在python中判斷相等的用法is, ==, 與如何判斷nan

在用numpy和pandas處理資料的時候 我們很常會遇到需要nan的情況 而最初在處理它的時候,就因為要判斷相等的方式用錯而繞了不少彎路 我當初就是這個表...

2021-09-23 ‧ 由 owo 分享
DAY 9

【Day09-填空】漏漏缺缺欠欠填填刪刪補補——面對缺失值的處理方式

昨天我們講了在numpy中NaN要如何判斷相等 那今天就來稍微談一下會出現缺失值的那些情況要怎麼處理 基本上我們的處理方式不外乎兩種——填和刪 填上資料 方法一...

2021-09-24 ‧ 由 owo 分享
DAY 10

【Day10-去重】使用python優雅的一行解決list或DataFrame資料去重問題

前一天,我們簡單討論了一下面對缺失值資料的處理 那今天就反過來討論一下面對資料中有重複的情況應該要怎麼處理好了 list元素去重 使用set——不維持原來順序...

2021-09-25 ‧ 由 owo 分享