iT邦幫忙

pandas相關文章
共有 175 則文章
鐵人賽 自我挑戰組 DAY 24

技術 Day 24:專案06 - 股市趨勢圖01 | 單月股市API、Pandas

各位早安,今天是第24天,但其實爬蟲的技巧大致上已經教得差不多了,而且我猜會看我的文章的人,應該都想知道爬蟲還可以做哪些應用吧,所以我想鐵人賽的最後幾天,就來做...

鐵人賽 自我挑戰組 DAY 17
Python資料分析學習地圖 系列 第 17

技術 Day 17 : 模型前的資料處理 (1)

雖然好的模型和參數可以提高成效,但通常最關鍵還是資料本身。基本上資料的品質決定了八成以上模型的成效,因此大家有必要對自己的資料有所認識和了解。 而在做機器學習的...

鐵人賽 Software Development DAY 28

技術 【D28】模組化#3:取得市場行情資料

前言 股票每日交易資訊、三大法人資料(區分期貨與選擇權二類-依日期)模組化後,也把加權指數行情用get_and_save取資料並且匯入資料庫中吧。 本日程式碼...

鐵人賽 Software Development DAY 27

技術 【D27】模組化#2:取三大法人期貨交易資料

前言 整理股票每日交易資訊後,把三大法人資料(區分期貨與選擇權二類-依日期)也模組化,也可以用get_and_save取資料並且匯入資料庫中。 本日程式碼使用...

鐵人賽 永豐金融APIs DAY 12
永豐證API X Python 系列 第 12

技術 【D12】發現新廚具:Snapshot

前言 有個Snapshot的功能,可以看當下的商品狀況,讓我們看看這個功能可以做啥吧! 參考網站:Snapshot 本日程式碼使用:d12_snapsho...

鐵人賽 Software Development DAY 26

技術 【D26】模組化#1:取股票資料

前言 在取用個資料的時候,都是一個一個執行,分散各地,為了方便需要整合;訊號燈也是如此,都放在個別的jupyter notebook中,不適合做成各自獨立的訊號...

鐵人賽 AI & Data DAY 11

技術 【Day11-映射】淺談python的map與pandas的map用法

複習一下國中數學應該都有學過函數映射的概念,就是根據特定的規則將輸入轉換成輸出在做資料處理的過程中,這就很適合用來協助我們處理一些資料的清理與替換所以今天就簡單...

鐵人賽 AI & Data DAY 10

技術 【Day10-去重】使用python優雅的一行解決list或DataFrame資料去重問題

前一天,我們簡單討論了一下面對缺失值資料的處理那今天就反過來討論一下面對資料中有重複的情況應該要怎麼處理好了 list元素去重 使用set——不維持原來順序 利...

鐵人賽 Software Development DAY 24

技術 【D24】製作訊號燈#7:製作個股的MA燈號

前言 加權指數和法人留倉那些都已經完畢了,現在回到個股的訊號燈。這次要做的是MA(移動平均數)的穿越訊號燈。 本日程式碼使用:d24_stock_ma.ipy...

鐵人賽 Software Development DAY 23

技術 【D23】製作訊號燈#6:使用三大法人製作訊號燈2之自營與投信

前言 順利解讀後,可以看得出來外資跟大盤有一定的連動性,而身為三大法人的另外兩個為自營與投信單位,也不能忘記。這兩個可以視為國內機構對於本國的市場看法。 本日...

鐵人賽 AI & Data DAY 7

技術 【Day07-篩選】我全都要?啊還是挑一下吧——在python中如何篩選list, dict, pd.DataFrame

有的時候我們處理資料難免會遇到需要篩選的時候畢竟總不可能隨時都一句「我全都要」吧 我全都要(圖片來自網路) 因此我們今天來談一下在python中那些對資料進...

鐵人賽 Software Development DAY 21

技術 【D21】製作訊號燈#5:使用三大法人製作外資訊號燈

前言 製作了加權指數的,這次製作三大法人-外資的訊號燈,本次會做多單還是空單、留倉數量是否增加、留倉量變化多少。 本日程式碼使用:d21_singalLega...

鐵人賽 AI & Data DAY 6

技術 【Day06-合併】發動魔法卡,融合——在python中如何合併list, dict, set, np.array, pd.DataFrame?

在處理資料的過程中很常會需要面對到將兩筆分開處理好的資料合併起來的情況因此今天就來談一下在python中要如何對常見的那些資料類型進行合併吧 不是這種合併...

鐵人賽 Software Development DAY 20

技術 【D20】製作訊號燈#4:加權指數成交金額訊號燈

前言 製作大盤的訊號燈,當作熟悉訊號燈的操作方式。 本日程式碼使用:d20_singalTaiexAmount.ipynb 取得加權指數資訊 從資料庫取得...

鐵人賽 AI & Data DAY 5

技術 【Day05-遍歷】不要再只會用for迴圈了,你值得擁有更好的選擇-apply

第三天我們簡單介紹了處理表格的pandas套件接下來就要開始對資料進行處理了我們都知道電腦比起人類來說,最大的優勢就是可以快速的執行相同的操作因此學會如何對大筆...

鐵人賽 AI & Data DAY 3

技術 【Day03-表格】為什麼熊貓(pandas)是用來處理表格的工具?

前兩天我們稍微說明了一下對於看待資料的一些基本觀念那今天就來開始實際對資料做一些操作吧 環境需求: python程式環境 程度需求: 對python有基...

鐵人賽 自我挑戰組 DAY 6

技術 Day 06 : 資料處理 Pandas (2)

今天接著介紹 pandas 如何表對資料表合併、資料匯總等等進階用法! 資料表合併 inner join 假設有X表和Y表,我們想要取兩邊都有的資料,就會用到...

鐵人賽 Software Development DAY 17

技術 【D17】製作訊號燈#2:三大法人期貨留倉與大盤的關係

前言 初步推算出大盤與台積電有很大的正相關,然後看看資金雄厚,影響市場非常大的三大法人,哪些東西可以適合我們,當我們第一個訊號燈。 本日程式碼使用:d17_T...

鐵人賽 自我挑戰組 DAY 5

技術 Day 05 : 資料處理 Pandas (1)

excel 是很多人常用來處理報表與數據的工具,同樣地在 python 也有一個套件常常在處理這件事,就是我們今天的主角 Pandas。這個工具是很多人在做 p...

鐵人賽 Software Development DAY 15

技術 【D15】當大盤漲的時候,跟台積電有關係嗎?

前言 取得眾多資料後,接下來就要分析,我們來看看台積電與加權指數有關係嗎? d15_2330AndTaiex.ipynb 取得資料 這次我們要比較...

鐵人賽 Software Development DAY 13

技術 【D13】取得:加權指數歷史資料,並觀察量與指數的關係

前言 昨天取得九月的加權指數資料,但是時間太短,看不出來量與價格的關係,所以就要取得更遠的資料囉。取得後才能觀察量與指數的關係。 本日程式碼使用: d13...

鐵人賽 Software Development DAY 12

技術 【D12】製作圖表:加權指數和交易金額的圖表

前言 進行觀察還是需要用圖表表示,這時候疊圖就很好用。之前都一張一張畫,現在呈現疊圖的方式。 本日程式碼使用:d12_MarketTransInfo_pic....

鐵人賽 Software Development DAY 10

技術 【D10】市場熱絡程度:每日市場成交資訊

前言 常見的市場熱絡程度,也有用成交金額判斷,當大家踴躍交易的時候,容易價格抬升。試想如果,大家預期未來會一直狂跌,有人會想要現在買嗎?沒有人會想要買股票在高價...

鐵人賽 Software Development DAY 9

技術 【D9】取得加權指數歷史資料

前言 認為整體環境看多,優秀的個股不會太差;大環境不好,優秀的股票也會被拖累。有這個概念後我們取得三大法人的留倉作為判斷依據,但這個判斷依據是不是可以跟市場趨勢...

鐵人賽 Software Development DAY 8

技術 【D8】製作圖表:三大法人-區分期貨與選擇權二類

前言 有了資料後,就要進行分析,因此需要做出圖表比較適合觀察,所以我們現在來做圖囉! 本日程式碼使用:d8_3Legal_chart.ipynb 製作圖表...

鐵人賽 Software Development DAY 7

技術 【D7】取得歷史資料:三大法人-區分期貨與選擇權二類

前言 在昨日取得的資料僅有當天的資訊,政府有提供下載近三年的資料,更多就需要申請,不過我們這三年已經夠用了。讓我們取得這段時間的歷史資料吧! 本日程式碼使用:...

鐵人賽 Software Development DAY 4

技術 【D4】匯入交易資料

前言 這是需要調整資料庫連線資訊,修改成符合MySQL的格式。本次也會參考《【Day10】Azure資料庫#2:建立SQL server資料表》以及《【Day1...

技術 使用 python ols 預測值

範例: # -*- coding: utf-8 -*- import pandas as pd import statsmodels.formula.api a...

技術 用 tkinter 實現選擇路徑打開 excel ,並用 tree view 顯示

引注資料https://blog.csdn.net/weixin_43184622/article/details/107054131我是看了上述引註資料的範例...

鐵人賽 Software Development DAY 29
糊裡糊塗Python就上手 系列 第 29

技術 [2020鐵人賽Day29]糊裡糊塗Python就上手-Pandas的觀念與運用(下)

今日目標 學習了解 Python Pandas 資料存取與運用視覺化呈現數據 DataFrame 資料操作 在提到 Python Pandas 資料存取與運用視...