iT邦幫忙

requests相關文章
共有 24 則文章
鐵人賽 Software Development DAY 28

技術 [Python 爬蟲這樣學,一定是大拇指拉!] DAY28 - 實戰演練:集大成 - 自動更新每日個股日成交資訊

自動更新每日個股日成交資訊 結合前幾篇所學,我們來做一個可以自動更新日成交資訊的程式吧! Requests 基本應用 - 讀取 Response JSO...

鐵人賽 Software Development DAY 27

技術 [Python 爬蟲這樣學,一定是大拇指拉!] DAY27 - 實戰演練:重複使用 TCP 連線

重複使用 TCP 連線 本篇章請搭配以下一起服用: HTTP - 複習傳送門 TCP / UDP - 複習傳送門 不知道各位還記不記得 HTTP 的...

鐵人賽 Software Development DAY 26

技術 [Python 爬蟲這樣學,一定是大拇指拉!] DAY26 - 實戰演練:多執行緒 - 抓取多個個股日成交資訊

多執行緒(multithreading) 所以我們的多執行緒在程式是怎麼運作呢? 一般情況: 假設 req1、req2 都是送 request 到 ser...

鐵人賽 Software Development DAY 24

技術 [Python 爬蟲這樣學,一定是大拇指拉!] DAY24 - 實戰演練:偽裝

偽裝 偽裝!?爬蟲還要偽裝喔? 是的,不知道各位還記不記得在"關於爬蟲"有提到過: 爬蟲存取網站的過程會消耗目標系統資源。 不少網路系統並不默許爬蟲工作...

鐵人賽 Software Development DAY 23

技術 [Python 爬蟲這樣學,一定是大拇指拉!] DAY23 - 實戰演練:HTML Response - 抓取股票代碼清單 (2)

開始前我簡單帶過一下我們這支爬蟲 Beautiful soup 的用法好了: from bs4 import BeautifulSoup html = &quo...

鐵人賽 Software Development DAY 22

技術 [Python 爬蟲這樣學,一定是大拇指拉!] DAY22 - 實戰演練:HTML Response - 抓取股票代碼清單 (1)

承接上篇,抓日成交資訊時,我們得知道股票代碼,那如果我想要有一個可以定時更新的股票代碼清單,要去哪裡拿呢? 抓取所有股票代碼 - 尋找 URL 一樣到證交所...

鐵人賽 Software Development DAY 21

技術 [Python 爬蟲這樣學,一定是大拇指拉!] DAY21 - 實戰演練:JSON Response - 抓取個股日成交資訊

好的,講解完 Requests 套件的基本介紹後,終於要進入真實情況的爬蟲應用拉! 但我們一步一步來,先從簡單的開始,運用我們前面提到的基本應用來做個小爬蟲。...

鐵人賽 Software Development DAY 20

技術 [Python 爬蟲這樣學,一定是大拇指拉!] DAY20 - Python:Requests 基本應用 (3)

這篇是基礎應用的最後一篇,主要補充講解幾個基本功能。 檢查 Response Status 當我們在爬蟲拿到 Response 時,通常為了要確保內容正確,...

鐵人賽 Software Development DAY 19

技術 [Python 爬蟲這樣學,一定是大拇指拉!] DAY19 - Python:Requests 基本應用 (2)

今天要來講的是,讀取送出 Request 後拿回來的 Response。 讀取 Response 以下幾種為常用到的方式: String import...

鐵人賽 Software Development DAY 18

技術 [Python 爬蟲這樣學,一定是大拇指拉!] DAY18 - Python:Requests 基本應用 (1)

實戰演練開始前,稍微來講解一下 Requests 的基本使用,當作是暖身。 用 Requests 送 Request 記不記得之前有提過 HTTP 有不同的 M...

鐵人賽 Software Development DAY 17

技術 [Python 爬蟲這樣學,一定是大拇指拉!] DAY17 - 爬蟲事前準備

爬蟲事前準備 本篇章之後將進入爬蟲環節,但開始撰寫程式前,我們先來安裝會使用的套件吧! 本系列文將使用 Requests,是一個基於 urllib3 為基礎開發...

鐵人賽 自我挑戰組 DAY 18

技術 Day 18:專案03 - PTT 八卦版爬蟲03 | 文章標題、作者、時間

哎呀哎呀,開學後變得好忙阿,連一天寫一篇的時間都沒有,果然先預留點文章是對的。參賽前還以為30天很短,實際參賽後才覺得真的是很漫長的過程,離結束還剩12天,好久...

鐵人賽 自我挑戰組 DAY 14

技術 Day 14:專案02 - PTT C_chat版爬蟲01 | 爬蟲簡介、request和response、Requests

⚠行前通知 先前已經學過Python但想學爬蟲的人可以回來囉~ 從今天起就開始大家最期待的網頁爬蟲的單元了! 雖然比原本預計的晚了2天,但該講的依舊不會少,那麼...

技術 爬蟲 crawler 基礎 - requests + BeautifulSoup

在爬蟲領域中,最簡單、常使用的套件非 requests 與 BeautifulSoup 莫屬, 只要使用這兩個套件,幾乎95%的資料都可以被爬取! 首先會介紹...

技術 使用requests方法進行網路爬蟲(2)

安裝BeautifulSoup4!!! 承上篇文章,我們要來分析我們爬蟲爬到的網頁,以及以自動登入it邦發表文章為例子來撰寫我們的爬蟲程式。 Beautiful...

技術 使用requests方法進行網路爬蟲(1)

安裝requests!!! 前因: 剛開始接觸爬蟲的時候,學到的是以selenium為主搭配為爬蟲設置的geckodriver瀏覽器,模擬人類使用網頁的方法,取...

技術 Python Requests 台灣人版實戰指南

各位大大好,小弟最近開了一個坑 是要製作 Python Requests的台灣人版實戰指南 主要是針對 HTTP分析做說明,以及搭配範例code來使用。 預計每...

鐵人賽 AI & Data DAY 8

技術 【Day 7】請求和回應

開始蒐集資料前,需要拿到可以用來「剖析」的原始資料。但平常我們都是打開瀏覽器,輸入網址(甚至常常跳過這步)、可能會輸入一些關鍵字來搜尋、再點選幾個有興趣的連結。...

鐵人賽 Software Development DAY 3

達標好文 技術 Day-03 資料蒐集:取得加權指數成分股暨市值比重資料

安裝所需套件 使用 pip 安裝 # 輸出紀錄 pip install loguru # HTTP / HTTPS pip install requests...

技術 python requests 匯率API

最近在計畫出國,大概還有半年,希望找一個好的換匯時機, 找到一個不用註冊與金鑰的好API跟大家分享(有些沒有TWD) 不囉嗦,上Code! import req...

達標好文 技術 1. Python大數據特訓班_爬取與分析_使用Requests與BeautifulSoup練習簡單爬取

今天使用python練習簡單的爬取博客來即時榜 爬取內容: 1.榜單排名 2.書名 3.書的圖片網址 import requests from bs4 impo...

鐵人賽 Modern Web

技術 DAY30-搞懂Requests與lxml

筆者怎麼開始flask-restful的 30天的flask-restful終於要告一段落了,今天來談談筆者怎麼接觸flask-restful 本文同步放置於...

鐵人賽 自我挑戰組 DAY 18

技術 [2018 iThome 鐵人賽] Day 18: Python 中讓 urllib 使用 cookie 的方法

本文利用工人智慧技術同步發表於我的部落格 前言 其實一般來說只要用 requests 這個超強的 third-party library 就可以解了,...

鐵人賽 Software Development DAY 9

技術 Day8:Python requests + bs4 實作模擬登入網站並爬取資料|Kearch 1.0 爬蟲關鍵字報表工具

上一篇我們用scrapy來爬Y Combinator Blog,它的結構不算太複雜,而且無須登入。 但如果今天需要爬取需要登入的網站資料該怎麼做呢?我們可以用p...