iT邦幫忙

鐵人檔案

第 12 屆 iThome 鐵人賽
回列表
自我挑戰組

從爬蟲到架站 系列

棒球有許多的數據,而國外也有許多相關的數據平台,Fangraph甚至可以讓使用者自訂項目以產出視覺化的圖表,而中職缺少此種類的平台,因此我想要搭建一個將數據視覺化的網站,而這邊將會記錄這個專案的歷程,預計使用Flask搭建、echart.js繪圖。

參賽天數 1 天 | 共 21 篇文章 | 15 人訂閱 訂閱系列文 RSS系列文
DAY 1

Day 0: 從爬蟲到架站-取得資料

前言 這篇文章主要是記錄我的學習歷程,以棒球為主題搭建一個數據查詢的網站,從取得資料到架設網站,過程會使用Python來爬取及架設網站。 取得數據 數據的來源為...

2020-09-01 ‧ 由 jeff3071 分享
DAY 1

Day 1: 從爬蟲到架站-優化爬蟲

異步 Python的requests模組中,發送request的過程是:發送第一個request->接收第一個回覆->發送第二個request......

2020-09-03 ‧ 由 jeff3071 分享
DAY 1

Day 2: 從爬蟲到架站-儲存資料

目前已經透過爬蟲來取得資料了,接著要將這些資料存進Firebase裡 Firebase 這邊只會用到Firebase的Cloud Firestore功能,官方文...

2020-09-03 ‧ 由 jeff3071 分享
DAY 1

Day 3: 從爬蟲到架站-建置網站

Flask 首先用pip安裝Flask,接者創建一個app.py。 app.py import flask from flask import render_t...

2020-09-04 ‧ 由 jeff3071 分享
DAY 1

Day 4: 從爬蟲到架站-傳送資料(1)

從Firebase取得資料 前面有介紹到如何連接Firebase,而連接的程式碼就放在app.py裡面 import flask from flask impo...

2020-09-05 ‧ 由 jeff3071 分享
DAY 1

Day 5: 從爬蟲到架站-傳送資料(2)

前面做好了選單了,接著需要使用js取得球員名稱並且傳給Flask,Flask再從Firebase取得球員的相關資料傳到前端。 function select_...

2020-09-06 ‧ 由 jeff3071 分享
DAY 1

Day 6: 從爬蟲到架站-echart繪圖

echart echart是一個用js繪圖的框架,官方文檔。 引入echart後,首先必須準備一個畫圖的區塊。 <div class="row&...

2020-09-07 ‧ 由 jeff3071 分享
DAY 1

Day 7: 從爬蟲到架站-echart繪圖(2)

增加圖表功能 toolbox echart有提供許多API來讓我們使用,在官方文檔中可以查到許多有用的API。 今天我主要回會用toolbox這個配置項的功能,...

2020-09-08 ‧ 由 jeff3071 分享
DAY 1

Day 8: 從爬蟲到架站-js更改網頁

有了圖表,也要在下面附上文字資料,並且為了之後可能會加上的其他數據,要利用Bootstrap做出點擊開合的功能。 JS更新網頁 JS取得的資料會與圖表的資料相同...

2020-09-09 ‧ 由 jeff3071 分享
DAY 1

Day 9: 從爬蟲到架站-增加新功能

這篇主要是濃縮前面幾篇文章的內容,會用兩篇來帶過整個操作。 除了月份的數據,打者對左右投的數據也很重要,而左右投的數據也是在中職的官網可以查到,跟月份的url...

2020-09-10 ‧ 由 jeff3071 分享