iT邦幫忙

第 11 屆 iThome 鐵人賽

DAY 17
0
Software Development

初學者使用youtube影片學習python_純紀錄系列 第 17

Day17_初學者使用youtube影片學習python_純紀錄

  • 分享至 

  • xImage
  •  

參考資料

一樣是彭彭老師的影片,以下附上網址:
https://www.youtube.com/watch?v=sUzR3QVBKIo&list=PL-g0fdC5RMboYEyt6QS2iLb_1m7QcgfHk&index=16&t=940s

影片內容

  1. 網路連線程式,以 HTTP 通訊協定為例
    1.1 使用 urllib.request 模組
    1.2 使用 urlopen(網址) 連線網址
    1.3 使用 read() 讀取資料
    1.4 使用 decode("utf-8") 處理中文資料
    1.5 使用 json 模組,解讀 json 資料格式

  2. 公開資料串接
    2.1 使用台北市政府公開資料 (http://data.taipei/)
    2.2 搜尋並取得資料的串接網址 (API)
    2.3 測試串接網址,觀察資料格式
    2.4 撰寫程式,自動連線並且擷取想要的資料

  3. 儲存資料到檔案中
    3.1 使用寫入模式開啟檔案
    3.2 使用 utf-8 編碼處理中文資料

學習紀錄

  1. 網路連線程式,以 HTTP 通訊協定為例
    1.1 使用 urllib.request 模組
import urllib.request as request

1.2 使用 urlopen(網址) 連線網址

src="https://www.ntu.edu.tw/"
with request.urlopen(src) as response:

1.3 使用 read() 讀取資料

data=response.read().decode("utf-8")

取得台灣大學網站的原始碼 (HTML、CSS、JS)
後面的.decode("utf-8")是將中文字進行處理以方便觀看

  1. 公開資料串接
import urllib.request as request
import json                        # 因為資料是 JSON 格式,因此先載入 JSON 的模組

2.1 使用台北市政府公開資料
2.2 搜尋並取得資料的串接網址 (API)
2.3 測試串接網址,觀察資料格式
2.4 撰寫程式,自動連線並且擷取想要的資料

src="https://data.taipei/opendata/datalist/apiAccess?scope=resourceAquire&rid=296acfa2-5d93-4706-ad58-e83cc951863c"
with request.urlopen(src) as response:
    data=json.load(response)       # 利用 json 模組處理 json 資料格式
clist=data["result"]["results"]    # 建立一個 clist,先篩選一下所需要的檔案
  1. 儲存資料到檔案中
    3.1 使用寫入模式開啟檔案
    3.2 使用 utf-8 編碼處理中文資料
with open("data.txt","w",encoding="utf-8") as file:
    for company in clist:
        file.write(company["公司名稱"]+"\n")

今天的內容有直接從網路上抓取資料,這個感覺是需要熟悉的用法。


上一篇
Day16_初學者使用youtube影片學習python_純紀錄
下一篇
Day18_初學者使用youtube影片學習python_純紀錄
系列文
初學者使用youtube影片學習python_純紀錄30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言