前言 在昨日取得的資料僅有當天的資訊,政府有提供下載近三年的資料,更多就需要申請,不過我們這三年已經夠用了。讓我們取得這段時間的歷史資料吧! 本日程式碼使用:...
前言 這是需要調整資料庫連線資訊,修改成符合MySQL的格式。本次也會參考《【Day10】Azure資料庫#2:建立SQL server資料表》以及《【Day1...
範例: # -*- coding: utf-8 -*- import pandas as pd import statsmodels.formula.api a...
今日目標 學習了解 Python Pandas 資料存取與運用視覺化呈現數據 DataFrame 資料操作 在提到 Python Pandas 資料存取與運用視...
今日目標 學習了解 Python Pandas 的觀念與運用 What is Pandas? Pandas 是基於 Numpy 開發的模組,該模組是為了解決結構...
本篇記錄一下,製作KD線踩到的雷。 可參考github:Day26_createLine.ipynb 在製作的過程中,發現無法順利地轉換,於是參考:Pytho...
現在使用Ta-lib讓我們的資料可以開心的畫圖。可參考文章:https://www.finlab.tw/Python-簡單158種技術指標計算/ 可參考gith...
畫均線後,就要進行簡單的策略分析,用均線進行線性回測。可參考文章:利用pandas輕鬆取得歷史股 本日的程式碼於:Day21_createMAStrategy....
有了資料後,開始做技術分析。從每日的數據中,可以做出簡單的技術分析:移動平均線(Moving Average,MA),簡稱均線。可以藉由均線當作參考,簡單的判斷...
我們已經取得證交所資料,但是在金融分析中,需要大量的歷史資料。總不能每次都ㄧ個月份一個月份的去新增吧?這次就是要用簡單的批次做法,把程式碼改寫方便我們更自動的取...
我們要正確地取得資料,可以使用政府的open data收集每天的資料。本篇會從政府資料開放平臺取得資訊作為範例。 範例檔案在:Day15_getStockDat...
在取得資料,並且做出圖表後,仍然需要把我們每次的資料儲存下來,這時候pandas就可以輕鬆建立資料的csv。 廢話不多說,直接看這次的程式碼Day8_save...
第二天啦~ 今天要講的是如何實作爬蟲,爬台股每五秒指數的歷史資訊。 第一步 先到 https://www.twse.com.tw/zh/page/trading...
已經取得資料了,但是這樣的顯示方式很不好閱讀,接著就是要介紹如何順利的結構化這些資料。 本篇將會使用numpy和pandas。 程式碼 (完成程式碼在本段下方...
函數:sample DataFrame.sample(n=None, frac=None, replace=False, weights=None, rando...
如題,最近工作關係,需要將結果匯出作為報告,因此上網查了下如何將pandas的table變成圖檔儲存 # 匯入庫 import matplotlib.pyplo...
本篇文章是使用Chrome瀏覽器搭配Selenium爬取電影評分網站IMDb資料,一些前置作業如下: 先進到這個網站確定目前所使用的Chrome版本。 到Ch...
先來看電影評分網站IMDb資料長相,抓取需要的資訊存起來,程式碼是參考自這篇文章。Take a look at how IMDb save the movie...
延續昨日的文章,今天要把Berge的Youtube搜尋頁面縮圖連結存下來。Today we will continue last article to scra...
今天嘗試來用美麗的湯從Youtube爬取影片標題、連結、觀看次數與簡介。爬取的資料是一個好聽德國樂團Berge的Youtube搜尋頁面(是想趁機推坑吧笑死)。T...
# 載入所需套件 import the packages we need import pandas as pd import numpy as np im...
安裝所需套件 使用 pip 安裝 # 繪製圖表 pip install plotly 技術整合 前情提要 Day-05 資料蒐集:取得代理清單 Day...
初次嘗試使用美味的湯爬資料,先做小一點的試試水。今天是從德國求職網站達石來下載職缺列表,先試看看不翻頁只爬第一頁100筆職缺訊息。Today is my fir...
今天針對前幾日視覺化的結果,來篩選一些符合我需求的房源。Today we will filter out some listings that fit my n...
昨日(Day22)的文章中,先以低排放區郵遞區號篩選取出房源列表後排序,取房源數量最多的前十名(主要是柏林占地太大,Airbnb上劃分成了133個區,加上交通因...
到柏林旅遊,會發現市區交通票券由放射狀分為A、B、C三個區塊,想買長期票券分法只有A+B區、B+C區、A+B+C區,以一般旅遊民眾而言,移動範圍多會在A+B區,...
淺層的數據分析:發現規律,對比。數據清洗(pandas) 深層的數據分析(機器學習):對未來做出預測。數據清洗(pandas),數據處理(pandas) im...
使用request請求呼叫接著利用BeautifulSoup的html解析器解析html使用CSS選擇器去選取目標table 接著再利用選取好的部分html直...
以上圖為例 #Pandas主要用來作數據處理#Series 一維數據類型#DataFrame 二維數據類型 #read_html 抓取表格利用Pandas快...
Seaborn是基於Matplotlib的Python繪圖庫,並有繪圖指令簡單、圖樣風格精美等優點。Seaborn is a Python visualizat...