iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0 Like 0 留言 2280 瀏覽

鐵人賽 AI & Data DAY 8

Hands on Data Cleaning and Scraping 資料清理與爬蟲實作系列第 8 篇

技術 Day08 Basic Data Visualizations with Pandas 1/2. Pandas視覺化資料基礎 1/2

接下來五篇文章介紹一些視覺化資料的工具與功能，挑選不同類型的圖來說明。今天來討論Pandas中一些基本的資料視覺化功能。The following 5 arti...

kyt ‧ 2019-09-09

0 Like 0 留言 2156 瀏覽

鐵人賽自我挑戰組 DAY 2

用程式鳥瞰股市系列第 2 篇

技術 Day 2 股市每五秒指數爬蟲

第二天啦~ 今天要講的是如何實作爬蟲，爬台股每五秒指數的歷史資訊。第一步先到 https://www.twse.com.tw/zh/page/trading...

Kurt ‧ 2020-09-15

0 Like 0 留言 2102 瀏覽

鐵人賽自我挑戰組 DAY 6

Python資料分析學習地圖系列第 6 篇

技術 Day 06 : 資料處理 Pandas (2)

今天接著介紹 pandas 如何表對資料表合併、資料匯總等等進階用法！資料表合併 inner join 假設有X表和Y表，我們想要取兩邊都有的資料，就會用到...

皮卡丘打排球 ‧ 2021-09-18

0 Like 1 留言 2098 瀏覽

鐵人賽自我挑戰組 DAY 25

從HTML到Python爬蟲的30天之旅系列第 25 篇

技術 Day 25：專案06 - 股市趨勢圖02 | 整年股市資料、Postman

複習一下昨天的進度 - 我們取得單月的個股日成交價的資料，並在電腦中儲存成csv檔。目前都只有單月的個股日成交價，但如果想要一整年的個股日成交價時，該怎麼辦呢...

Andy Chiang ‧ 2021-09-30

0 Like 0 留言 2004 瀏覽

鐵人賽 AI & Data DAY 26

Hands on Data Cleaning and Scraping 資料清理與爬蟲實作系列第 26 篇

技術 Day26 Stepstone Posting 達石職缺

# 載入所需套件 import the packages we need import pandas as pd import numpy as np im...

kyt ‧ 2019-09-27

2 Like 0 留言 1966 瀏覽

技術 Python學習筆記: Pandas欄位內容自訂排序

本文同步發表於小弟自架網站：微確幸資訊站範例資料如下：學年：108, 109學期：1, 2學制："博士班", "碩士班&quo...

mackuo ‧ 2022-12-16

0 Like 0 留言 1929 瀏覽

鐵人賽 AI & Data DAY 25

Hands on Data Cleaning and Scraping 資料清理與爬蟲實作系列第 25 篇

技術 Day25 Beautiful Soup Try Out: Stepstone Posting 美麗的湯爬蟲初體驗：達石職缺

初次嘗試使用美味的湯爬資料，先做小一點的試試水。今天是從德國求職網站達石來下載職缺列表，先試看看不翻頁只爬第一頁100筆職缺訊息。Today is my fir...

kyt ‧ 2019-09-26

0 Like 0 留言 1924 瀏覽

鐵人賽 AI & Data DAY 9

Hands on Data Cleaning and Scraping 資料清理與爬蟲實作系列第 9 篇

技術 Day09 Basic Data Visualizations with Pandas 2/2. Pandas視覺化資料基礎 2/2

# 載入所需套件 import packages import pandas as pd import numpy as np 圓餅圖 Pie Plot 圓餅...

kyt ‧ 2019-09-10

0 Like 0 留言 1909 瀏覽

鐵人賽 Google Developers Machine Learning DAY 20

Python + 機器學習/深度學習小筆記系列第 20 篇

技術 [Day - 20]Pandas數據清洗和處理

淺層的數據分析:發現規律，對比。數據清洗(pandas) 深層的數據分析(機器學習):對未來做出預測。數據清洗(pandas)，數據處理(pandas) im...

unknown ‧ 2019-09-21

0 Like 0 留言 1818 瀏覽

鐵人賽 AI & Data DAY 29

Hands on Data Cleaning and Scraping 資料清理與爬蟲實作系列第 29 篇

技術 Day29 Scraping from IMDb with Selenium 1/2 用Selenium爬取IMDb 1/2

先來看電影評分網站IMDb資料長相，抓取需要的資訊存起來，程式碼是參考自這篇文章。Take a look at how IMDb save the movie...

kyt ‧ 2019-09-30

0 Like 0 留言 1488 瀏覽

鐵人賽 Software Development DAY 9

金融分析 X Python－訊號燈系列第 9 篇

技術【D9】取得加權指數歷史資料

前言認為整體環境看多，優秀的個股不會太差；大環境不好，優秀的股票也會被拖累。有這個概念後我們取得三大法人的留倉作為判斷依據，但這個判斷依據是不是可以跟市場趨勢...

eyelash*睫毛 ‧ 2021-09-09

0 Like 0 留言 1399 瀏覽

鐵人賽 AI & Data DAY 30

Hands on Data Cleaning and Scraping 資料清理與爬蟲實作系列第 30 篇

技術 Day30 Scraping from IMDb with Selenium 2/2 用Selenium爬取IMDb 2/2

本篇文章是使用Chrome瀏覽器搭配Selenium爬取電影評分網站IMDb資料，一些前置作業如下：先進到這個網站確定目前所使用的Chrome版本。到Ch...

kyt ‧ 2019-10-01

0 Like 0 留言 1377 瀏覽

鐵人賽 Software Development DAY 7

金融分析 X Python－訊號燈系列第 7 篇

技術【D7】取得歷史資料：三大法人-區分期貨與選擇權二類

前言在昨日取得的資料僅有當天的資訊，政府有提供下載近三年的資料，更多就需要申請，不過我們這三年已經夠用了。讓我們取得這段時間的歷史資料吧！本日程式碼使用：...

eyelash*睫毛 ‧ 2021-09-07

0 Like 0 留言 1376 瀏覽

鐵人賽 AI & Data DAY 3

資料三十-那些最基本的資料處理與分析技能系列第 3 篇

技術【Day03-表格】為什麼熊貓(pandas)是用來處理表格的工具？

前兩天我們稍微說明了一下對於看待資料的一些基本觀念那今天就來開始實際對資料做一些操作吧環境需求： python程式環境程度需求：對python有基...

owo ‧ 2021-09-18

1 Like 0 留言 1369 瀏覽

鐵人賽 Google Developers Machine Learning DAY 19

Python + 機器學習/深度學習小筆記系列第 19 篇

技術 [Day - 19]用Pandas快速爬取表格數據(期貨交易所為例-2)

使用request請求呼叫接著利用BeautifulSoup的html解析器解析html使用CSS選擇器去選取目標table 接著再利用選取好的部分html直...

unknown ‧ 2019-09-20

0 Like 1 留言 1332 瀏覽

鐵人賽 Software Development DAY 4

金融分析 X Python－訊號燈系列第 4 篇

技術【D4】匯入交易資料

前言這是需要調整資料庫連線資訊，修改成符合MySQL的格式。本次也會參考《【Day10】Azure資料庫#2：建立SQL server資料表》以及《【Day1...

eyelash*睫毛 ‧ 2021-09-04

0 Like 0 留言 1280 瀏覽

鐵人賽 AI & Data DAY 23

Hands on Data Cleaning and Scraping 資料清理與爬蟲實作系列第 23 篇

技術 Day23 Airbnb in Berlin 4/5 listings analysis 柏林Airbnb 4/5 蛋黃區房源分析

昨日(Day22)的文章中，先以低排放區郵遞區號篩選取出房源列表後排序，取房源數量最多的前十名(主要是柏林占地太大，Airbnb上劃分成了133個區，加上交通因...

kyt ‧ 2019-09-24

0 Like 0 留言 1202 瀏覽

鐵人賽 Software Development DAY 13

金融分析 X Python－訊號燈系列第 13 篇

技術【D13】取得：加權指數歷史資料，並觀察量與指數的關係

前言昨天取得九月的加權指數資料，但是時間太短，看不出來量與價格的關係，所以就要取得更遠的資料囉。取得後才能觀察量與指數的關係。本日程式碼使用： d13...

eyelash*睫毛 ‧ 2021-09-13

0 Like 0 留言 1175 瀏覽

技術 [Python爬蟲] Pandas模組

[Python爬蟲] Pandas 模組 Python 的 Pandas 是一個強大的資料分析工具包，讓你能夠輕鬆地處理和分析結構化數據。以下是一個基本的 P...

pellok ‧ 2024-01-11

1 Like 0 留言 1168 瀏覽

技術 Python學習筆記: Pandas 依程式執行當下日期篩選資料

本文同步發表於小弟自架網站：微確幸資訊站來源：讀取covid-19確診名單（姓名源自於中文姓名產生器），居隔日期均為杜撰。 from io import St...

mackuo ‧ 2023-03-12

0 Like 0 留言 1123 瀏覽

鐵人賽 Software Development DAY 10

金融分析 X Python－訊號燈系列第 10 篇

技術【D10】市場熱絡程度：每日市場成交資訊

前言常見的市場熱絡程度，也有用成交金額判斷，當大家踴躍交易的時候，容易價格抬升。試想如果，大家預期未來會一直狂跌，有人會想要現在買嗎？沒有人會想要買股票在高價...

eyelash*睫毛 ‧ 2021-09-10

1 Like 0 留言 1106 瀏覽

技術 Python學習筆記: Pandas 難字造字檔以全字庫取代

本文同步發表於小弟自架網站：微確幸資訊站全字庫網址：https://www.cns11643.gov.tw/ 各單位通常都有難字造字檔，但個別造字檔在彼此交換...

mackuo ‧ 2022-12-01

0 Like 0 留言 1006 瀏覽

技術 Python學習筆記: Pandas MultiIndex 快速建立資料

本文同步發表於小弟自架網站：微確幸資訊站資料建立目標：學年：108, 109, 110學期：1, 2學制："博士班", "碩士...

mackuo ‧ 2022-12-09

0 Like 0 留言 987 瀏覽

鐵人賽 Software Development DAY 15

金融分析 X Python－訊號燈系列第 15 篇

技術【D15】當大盤漲的時候，跟台積電有關係嗎？

前言取得眾多資料後，接下來就要分析，我們來看看台積電與加權指數有關係嗎？ d15_2330AndTaiex.ipynb 取得資料這次我們要比較...

eyelash*睫毛 ‧ 2021-09-15

0 Like 0 留言 964 瀏覽

鐵人賽 Software Development DAY 8

金融分析 X Python－訊號燈系列第 8 篇

技術【D8】製作圖表：三大法人-區分期貨與選擇權二類

前言有了資料後，就要進行分析，因此需要做出圖表比較適合觀察，所以我們現在來做圖囉！本日程式碼使用：d8_3Legal_chart.ipynb 製作圖表...

eyelash*睫毛 ‧ 2021-09-08

0 Like 0 留言 962 瀏覽

鐵人賽 Software Development DAY 12

金融分析 X Python－訊號燈系列第 12 篇

技術【D12】製作圖表：加權指數和交易金額的圖表

前言進行觀察還是需要用圖表表示，這時候疊圖就很好用。之前都一張一張畫，現在呈現疊圖的方式。本日程式碼使用：d12_MarketTransInfo_pic....

eyelash*睫毛 ‧ 2021-09-12

0 Like 0 留言 943 瀏覽

技術 Python學習筆記: Pandas MultiIndex (多重索引)簡要說明

本文同步發表於小弟自架網站：微確幸資訊站資料範例是索引共有四層（0-3層)，分別為['學年', '學期', '學制', '性別']學年：108, 109學期：...

mackuo ‧ 2022-12-14

0 Like 0 留言 929 瀏覽

鐵人賽 AI & Data DAY 22

Hands on Data Cleaning and Scraping 資料清理與爬蟲實作系列第 22 篇

技術 Day22 Airbnb in Berlin 3/5 the ring zone 柏林Airbnb 3/5 蛋黃區

到柏林旅遊，會發現市區交通票券由放射狀分為A、B、C三個區塊，想買長期票券分法只有A+B區、B+C區、A+B+C區，以一般旅遊民眾而言，移動範圍多會在A+B區，...

kyt ‧ 2019-09-23

0 Like 0 留言 916 瀏覽

鐵人賽 Software Development DAY 28

金融分析 X Python－訊號燈系列第 28 篇

技術【D28】模組化#3：取得市場行情資料

前言股票每日交易資訊、三大法人資料（區分期貨與選擇權二類-依日期）模組化後，也把加權指數行情用get_and_save取資料並且匯入資料庫中吧。本日程式碼...

eyelash*睫毛 ‧ 2021-09-28

0 Like 0 留言 915 瀏覽

鐵人賽永豐金融APIs DAY 12

永豐證API X Python 系列第 12 篇

技術【D12】發現新廚具：Snapshot

前言有個Snapshot的功能，可以看當下的商品狀況，讓我們看看這個功能可以做啥吧！參考網站：Snapshot 本日程式碼使用：d12_snapsho...

eyelash*睫毛 ‧ 2021-09-26