iT邦幫忙

pandas相關文章
共有 175 則文章
鐵人賽 AI & Data DAY 5

技術 Day05 Pandas skills: read in files. Pandas操作:讀取不同格式

先來介紹如何讀入(.csv)檔、以及Pandas一些基本常用指令解說:The first part will be about how to read in (...

鐵人賽 AI & Data DAY 3

技術 Day03 Pandas DataFrame, Label Encoding and One Hot Encoding. Pandas基本資料類型、標籤編碼與獨熱編碼

編寫程式碼時,載入已經存在的套件能幫我們節省下許多時間,又載入套件時,常有許多約定成俗的縮寫方式,需要稍微注意一下。不僅是為了簡短程式碼,也為了日後能順利閱讀討...

鐵人賽 AI & Data DAY 5

技術 【Day05-遍歷】不要再只會用for迴圈了,你值得擁有更好的選擇-apply

第三天我們簡單介紹了處理表格的pandas套件接下來就要開始對資料進行處理了我們都知道電腦比起人類來說,最大的優勢就是可以快速的執行相同的操作因此學會如何對大筆...

技術 資料分析套件-pandas-profiling

緣起 每拿到新資料時,總用pandas做一些重複性的探勘工作,今天發現一個好套件-pandas-profiling,套件作者覺得describe實在是太陽春了,...

鐵人賽 AI & Data DAY 12

技術 Day12 Data Visualization Tools: Seaborn 視覺化資料工具:Seaborn

Seaborn是基於Matplotlib的Python繪圖庫,並有繪圖指令簡單、圖樣風格精美等優點。Seaborn is a Python visualizat...

技術 Python學習筆記: 批次寫入Excel單一檔案多工作表及Excel多檔案

本文同步發表於小弟自架網站:微確幸資訊站 來源:讀取「疾病管制署資料開放平台」地區年齡性別統計表-嚴重特殊傳染性肺炎 要注意上面「縣市」的欄位有「空值」,「空...

鐵人賽 AI & Data DAY 7

技術 Day07 Pandas skills: Pandas cheat sheet. Pandas操作:快查表中文化

網路上有許多大神整理了各種快查表,本日進度就挑戰把其中一個個人覺得整理的很完善的快查表中文化。前兩天文章中提到的操作,都可以從這個快查表中查找。有需要的人歡迎下...

技術 [Python] pandas_profiling DataFrame 詳細資料分析視覺化

大家使用Pandas DataFrame分析不外乎就是使用內建的describe(),如果要其他分析就需要再手動進行,再利用繪圖package視覺化。 今天分享...

鐵人賽 Microsoft Azure DAY 20
Python X 金融分析 X Azure 系列 第 20

技術 【Day20】技術分析:移動平均線(MA)

有了資料後,開始做技術分析。從每日的數據中,可以做出簡單的技術分析:移動平均線(Moving Average,MA),簡稱均線。可以藉由均線當作參考,簡單的判斷...

鐵人賽 AI & Data DAY 6

技術 【Day06-合併】發動魔法卡,融合——在python中如何合併list, dict, set, np.array, pd.DataFrame?

在處理資料的過程中很常會需要面對到將兩筆分開處理好的資料合併起來的情況因此今天就來談一下在python中要如何對常見的那些資料類型進行合併吧 不是這種合併...

技術 用 tkinter 實現選擇路徑打開 excel ,並用 tree view 顯示

引注資料https://blog.csdn.net/weixin_43184622/article/details/107054131我是看了上述引註資料的範例...

鐵人賽 Microsoft Azure DAY 26
Python X 金融分析 X Azure 系列 第 26

技術 【Day26】Ta Lib:線圖-KD線

現在使用Ta-lib讓我們的資料可以開心的畫圖。可參考文章:https://www.finlab.tw/Python-簡單158種技術指標計算/ 可參考gith...

技術 [Python] Pandas df.iterrow 平行處理

#import pakage import pandas as pd import multiprocessing #指定主機有多少CPU,並把df 平均分配...

鐵人賽 AI & Data DAY 7

技術 【Day07-篩選】我全都要?啊還是挑一下吧——在python中如何篩選list, dict, pd.DataFrame

有的時候我們處理資料難免會遇到需要篩選的時候畢竟總不可能隨時都一句「我全都要」吧 我全都要(圖片來自網路) 因此我們今天來談一下在python中那些對資料進...

技術 [Python] Pandas 小記錄

pd.set_option('display.max_rows', 500) pd.set_option('display.max_columns', 500)...

鐵人賽 Microsoft Azure DAY 21
Python X 金融分析 X Azure 系列 第 21

技術 【Day21】技術分析#2:均線下單策略

畫均線後,就要進行簡單的策略分析,用均線進行線性回測。可參考文章:利用pandas輕鬆取得歷史股 本日的程式碼於:Day21_createMAStrategy....

鐵人賽 AI & Data DAY 6

技術 Day06 Pandas skills: Data Wrangling. Pandas操作:資料角力

資料角力(有時也稱為資料改寫),簡單來說是將資料整理成合乎需求的格式,以利後續視覺化或者套用機器學習模型。今天要來介紹一些運用Pandas操作進行資料角力的方式...

鐵人賽 Microsoft Azure DAY 15
Python X 金融分析 X Azure 系列 第 15

技術 【Day15】取當天交易資料

我們要正確地取得資料,可以使用政府的open data收集每天的資料。本篇會從政府資料開放平臺取得資訊作為範例。 範例檔案在:Day15_getStockDat...

技術 Python學習筆記: Pandas filter用法

本文同步發表於小弟自架網站:微確幸資訊站 import pandas as pd data = pd.read_clipboard() data 以下為cl...

技術 使用 python ols 預測值

範例: # -*- coding: utf-8 -*- import pandas as pd import statsmodels.formula.api a...

鐵人賽 Microsoft Azure DAY 27
Python X 金融分析 X Azure 系列 第 27

技術 【Day27】Ta Lib#2:線圖-KD線 part 2

本篇記錄一下,製作KD線踩到的雷。 可參考github:Day26_createLine.ipynb 在製作的過程中,發現無法順利地轉換,於是參考:Pytho...

鐵人賽 自我挑戰組 DAY 17
Python資料分析學習地圖 系列 第 17

技術 Day 17 : 模型前的資料處理 (1)

雖然好的模型和參數可以提高成效,但通常最關鍵還是資料本身。基本上資料的品質決定了八成以上模型的成效,因此大家有必要對自己的資料有所認識和了解。 而在做機器學習的...

鐵人賽 AI & Data DAY 27

技術 Day27 BS4 Scrape from Youtube 1/2 用美麗的湯爬取Youtube 1/2

今天嘗試來用美麗的湯從Youtube爬取影片標題、連結、觀看次數與簡介。爬取的資料是一個好聽德國樂團Berge的Youtube搜尋頁面(是想趁機推坑吧笑死)。T...

鐵人賽 自我挑戰組 DAY 2

技術 Day 2|環境安裝 - Python、VS Code、Pandas

  決定寫文章後,發現撰寫Pandas的環境有許多種,有人會用 Anaconda 搭配 Jupyter Notebook,有人直接使用 VS Code ,也有人...

鐵人賽 Microsoft Azure DAY 19
Python X 金融分析 X Azure 系列 第 19

技術 【Day19】批次匯入證交所資料

我們已經取得證交所資料,但是在金融分析中,需要大量的歷史資料。總不能每次都ㄧ個月份一個月份的去新增吧?這次就是要用簡單的批次做法,把程式碼改寫方便我們更自動的取...

技術 [Day - 18]用Pandas快速爬取表格數據(期貨交易所為例-1)

以上圖為例 #Pandas主要用來作數據處理#Series 一維數據類型#DataFrame 二維數據類型 #read_html 抓取表格利用Pandas快...

鐵人賽 AI & Data DAY 28

技術 Day28 BS4: Scrape from Youtube 2/2 用美麗的湯爬取Youtube 2/2

延續昨日的文章,今天要把Berge的Youtube搜尋頁面縮圖連結存下來。Today we will continue last article to scra...

鐵人賽 自我挑戰組 DAY 24

技術 Day 24:專案06 - 股市趨勢圖01 | 單月股市API、Pandas

各位早安,今天是第24天,但其實爬蟲的技巧大致上已經教得差不多了,而且我猜會看我的文章的人,應該都想知道爬蟲還可以做哪些應用吧,所以我想鐵人賽的最後幾天,就來做...

技術 Python學習筆記: 批次讀取excel檔案下所有的工作表(同一目錄下),彙整成一個dataframe

本文同步發表於小弟自架網站:微確幸資訊站 本文為網友於ithelp發問之解答: 網友有n個excel檔案,每個檔案中都有time、X、Y、Z工作表。網友想要把每...

技術 Python學習筆記: Pandas 批次讀取txt檔案,指定特定資料,批次匯出Excel檔案

本文同步發表於小弟自架網站:微確幸資訊站 本文來自於網友技術問答之改寫:https://ithelp.ithome.com.tw/questions/10212...