iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

1 Like 0 留言 900 瀏覽

技術新手-使用python下載股市資訊

一、使用的函式庫： Requests 函式庫：requests 能夠輕鬆抓取網頁的資料 json　函式庫：JSON 可能是物件或字串。當你想從 JSON 中讀...

a199385 ‧ 2024-03-18

0 Like 0 留言 1289 瀏覽

技術 [Python爬蟲] 分析目標網站

分析目標網站分析網站 - 股市GoodInfo 使用瀏覽器開發工具來分析網站並找出資訊、網頁與可用的 API 是一項實用的技能。以下是一個步驟指南，說明如何...

pellok ‧ 2023-12-06

0 Like 0 留言 153 瀏覽

鐵人賽 IT管理 DAY 22

每天利用 Jira 開單時，練習一個密技，應該不是薪水小偷吧！？系列第 22 篇

技術 Day22 - DevOps - 設定失敗！ Pull Request is Merged 但 Jira issue 一動也不動

今日分享啟用 When a pull request is merged → then move issue to done 驗證 DevOps Au...

狗鼻 ‧ 2023-10-07

0 Like 0 留言 805 瀏覽

鐵人賽 DevOps DAY 21

從 0 開始培育成為自動化測試工程師的學習指南系列第 21 篇

技術 Day 21: 應用 Python 作 API 測試

學習原因：昨天講了如何設計 API 測試，今天要來用 Python 進行實作了。會應用到 Python 的 Requests 套件，建 Session 來模擬...

yingngai ‧ 2023-09-26

0 Like 0 留言 971 瀏覽

技術 python 一次性大量請求api

原本的api： def sendRequest(param): response = sess.post(url,data=pa...

guopengzhen ‧ 2023-02-16

0 Like 0 留言 604 瀏覽

鐵人賽自我挑戰組 DAY 11

網路的架構&各種應用系列第 11 篇

技術 Day11 - HTTP Request Method

HTTP Request 根據網頁開發的需求，會有不同的種類，以下介紹幾個常見的 Request Method： GET：取得資料傳遞的參數會顯示...

bernice123 ‧ 2022-09-21

0 Like 0 留言 2206 瀏覽

鐵人賽 Software Development DAY 28

Python 爬蟲這樣學，一定是大拇指拉！系列第 28 篇

技術 [Python 爬蟲這樣學，一定是大拇指拉！] DAY28 - 實戰演練：集大成 - 自動更新每日個股日成交資訊

自動更新每日個股日成交資訊結合前幾篇所學，我們來做一個可以自動更新日成交資訊的程式吧！ Requests 基本應用 - 讀取 Response JSO...

GreedIsGood ‧ 2021-10-13 ‧團隊請支援 Coding

0 Like 1 留言 1962 瀏覽

鐵人賽 Software Development DAY 27

Python 爬蟲這樣學，一定是大拇指拉！系列第 27 篇

技術 [Python 爬蟲這樣學，一定是大拇指拉！] DAY27 - 實戰演練：重複使用 TCP 連線

重複使用 TCP 連線本篇章請搭配以下一起服用： HTTP - 複習傳送門 TCP / UDP - 複習傳送門不知道各位還記不記得 HTTP 的...

GreedIsGood ‧ 2021-10-12 ‧團隊請支援 Coding

0 Like 0 留言 3627 瀏覽

鐵人賽 Software Development DAY 26

Python 爬蟲這樣學，一定是大拇指拉！系列第 26 篇

技術 [Python 爬蟲這樣學，一定是大拇指拉！] DAY26 - 實戰演練：多執行緒 - 抓取多個個股日成交資訊

多執行緒（multithreading）所以我們的多執行緒在程式是怎麼運作呢？一般情況：假設 req1、req2 都是送 request 到 ser...

GreedIsGood ‧ 2021-10-11 ‧團隊請支援 Coding

0 Like 0 留言 5290 瀏覽

鐵人賽 Software Development DAY 24

Python 爬蟲這樣學，一定是大拇指拉！系列第 24 篇

技術 [Python 爬蟲這樣學，一定是大拇指拉！] DAY24 - 實戰演練：偽裝

偽裝偽裝！？爬蟲還要偽裝喔？是的，不知道各位還記不記得在＂關於爬蟲＂有提到過：爬蟲存取網站的過程會消耗目標系統資源。不少網路系統並不默許爬蟲工作...

GreedIsGood ‧ 2021-10-09 ‧團隊請支援 Coding

0 Like 0 留言 3451 瀏覽

鐵人賽 Software Development DAY 23

Python 爬蟲這樣學，一定是大拇指拉！系列第 23 篇

技術 [Python 爬蟲這樣學，一定是大拇指拉！] DAY23 - 實戰演練：HTML Response - 抓取股票代碼清單 (2)

開始前我簡單帶過一下我們這支爬蟲 Beautiful soup 的用法好了： from bs4 import BeautifulSoup html = &quo...

GreedIsGood ‧ 2021-10-08 ‧團隊請支援 Coding

0 Like 0 留言 3099 瀏覽

鐵人賽 Software Development DAY 22

Python 爬蟲這樣學，一定是大拇指拉！系列第 22 篇

技術 [Python 爬蟲這樣學，一定是大拇指拉！] DAY22 - 實戰演練：HTML Response - 抓取股票代碼清單 (1)

承接上篇，抓日成交資訊時，我們得知道股票代碼，那如果我想要有一個可以定時更新的股票代碼清單，要去哪裡拿呢？抓取所有股票代碼 - 尋找 URL 一樣到證交所...

GreedIsGood ‧ 2021-10-07 ‧團隊請支援 Coding

1 Like 1 留言 4721 瀏覽

鐵人賽 Software Development DAY 21

Python 爬蟲這樣學，一定是大拇指拉！系列第 21 篇

技術 [Python 爬蟲這樣學，一定是大拇指拉！] DAY21 - 實戰演練：JSON Response - 抓取個股日成交資訊

好的，講解完 Requests 套件的基本介紹後，終於要進入真實情況的爬蟲應用拉！但我們一步一步來，先從簡單的開始，運用我們前面提到的基本應用來做個小爬蟲。...

GreedIsGood ‧ 2021-10-06 ‧團隊請支援 Coding

0 Like 0 留言 8748 瀏覽

鐵人賽 Software Development DAY 20

Python 爬蟲這樣學，一定是大拇指拉！系列第 20 篇

技術 [Python 爬蟲這樣學，一定是大拇指拉！] DAY20 - Python：Requests 基本應用 (3)

這篇是基礎應用的最後一篇，主要補充講解幾個基本功能。檢查 Response Status 當我們在爬蟲拿到 Response 時，通常為了要確保內容正確，...

GreedIsGood ‧ 2021-10-05 ‧團隊請支援 Coding

0 Like 0 留言 4678 瀏覽

鐵人賽 Software Development DAY 19

Python 爬蟲這樣學，一定是大拇指拉！系列第 19 篇

技術 [Python 爬蟲這樣學，一定是大拇指拉！] DAY19 - Python：Requests 基本應用 (2)

今天要來講的是，讀取送出 Request 後拿回來的 Response。讀取 Response 以下幾種為常用到的方式： String import...

GreedIsGood ‧ 2021-10-04 ‧團隊請支援 Coding

1 Like 0 留言 2955 瀏覽

鐵人賽 Software Development DAY 18

Python 爬蟲這樣學，一定是大拇指拉！系列第 18 篇

技術 [Python 爬蟲這樣學，一定是大拇指拉！] DAY18 - Python：Requests 基本應用 (1)

實戰演練開始前，稍微來講解一下 Requests 的基本使用，當作是暖身。用 Requests 送 Request 記不記得之前有提過 HTTP 有不同的 M...

GreedIsGood ‧ 2021-10-03 ‧團隊請支援 Coding

0 Like 0 留言 2008 瀏覽

鐵人賽 Software Development DAY 17

Python 爬蟲這樣學，一定是大拇指拉！系列第 17 篇

技術 [Python 爬蟲這樣學，一定是大拇指拉！] DAY17 - 爬蟲事前準備

爬蟲事前準備本篇章之後將進入爬蟲環節，但開始撰寫程式前，我們先來安裝會使用的套件吧！本系列文將使用 Requests，是一個基於 urllib3 為基礎開發...

GreedIsGood ‧ 2021-10-02 ‧團隊請支援 Coding

0 Like 0 留言 3255 瀏覽

鐵人賽自我挑戰組 DAY 18

從HTML到Python爬蟲的30天之旅系列第 18 篇

技術 Day 18：專案03 - PTT 八卦版爬蟲03 | 文章標題、作者、時間

哎呀哎呀，開學後變得好忙阿，連一天寫一篇的時間都沒有，果然先預留點文章是對的。參賽前還以為30天很短，實際參賽後才覺得真的是很漫長的過程，離結束還剩12天，好久...

Andy Chiang ‧ 2021-09-23

1 Like 0 留言 2245 瀏覽

鐵人賽自我挑戰組 DAY 14

從HTML到Python爬蟲的30天之旅系列第 14 篇

技術 Day 14：專案02 - PTT C_chat版爬蟲01 | 爬蟲簡介、request和response、Requests

⚠行前通知先前已經學過Python但想學爬蟲的人可以回來囉~ 從今天起就開始大家最期待的網頁爬蟲的單元了! 雖然比原本預計的晚了2天，但該講的依舊不會少，那麼...

Andy Chiang ‧ 2021-09-19

0 Like 0 留言 4870 瀏覽

技術使用requests方法進行網路爬蟲(2)

安裝BeautifulSoup4!!! 承上篇文章，我們要來分析我們爬蟲爬到的網頁，以及以自動登入it邦發表文章為例子來撰寫我們的爬蟲程式。 Beautiful...

tarrant777 ‧ 2020-07-21

2 Like 0 留言 12572 瀏覽

技術使用requests方法進行網路爬蟲(1)

安裝requests!!! 前因：剛開始接觸爬蟲的時候，學到的是以selenium為主搭配為爬蟲設置的geckodriver瀏覽器，模擬人類使用網頁的方法，取得...

tarrant777 ‧ 2020-07-12

0 Like 0 留言 4737 瀏覽

技術爬蟲 crawler 基礎 - requests + BeautifulSoup

在爬蟲領域中，最簡單、常使用的套件非 requests 與 BeautifulSoup 莫屬，只要使用這兩個套件，幾乎95%的資料都可以被爬取！首先會介紹 re...

wesley41616 ‧ 2020-08-11

0 Like 0 留言 793 瀏覽

技術 Python Requests 台灣人版實戰指南

各位大大好，小弟最近開了一個坑是要製作 Python Requests的台灣人版實戰指南主要是針對 HTTP分析做說明，以及搭配範例code來使用。預計每天...

peterinhouse123 ‧ 2019-09-23

1 Like 0 留言 5518 瀏覽

鐵人賽 AI & Data DAY 8

爬蟲在手、資料我有 - 30 天 Scrapy 爬蟲實戰系列第 8 篇

技術【Day 7】請求和回應

開始蒐集資料前，需要拿到可以用來「剖析」的原始資料。但平常我們都是打開瀏覽器，輸入網址（甚至常常跳過這步）、可能會輸入一些關鍵字來搜尋、再點選幾個有興趣的連結。...

Rex Chien ‧ 2019-09-22

5 Like 0 留言 14641 瀏覽

鐵人賽 Software Development DAY 3

Python 程式交易 30 天新手入門系列第 3 篇

達標好文技術 Day-03 資料蒐集：取得加權指數成分股暨市值比重資料

安裝所需套件使用 pip 安裝 # 輸出紀錄 pip install loguru # HTTP / HTTPS pip install requests...

阿斬 ‧ 2019-09-18 ‧團隊Amos的推坑教2.0

1 Like 1 留言 3999 瀏覽

技術 python requests 匯率API

最近在計畫出國，大概還有半年，希望找一個好的換匯時機，找到一個不用註冊與金鑰的好API跟大家分享(有些沒有TWD) 不囉嗦，上Code! import requ...

蜻蜓 ‧ 2019-05-02

0 Like 0 留言 4620 瀏覽

達標好文技術 1. Python大數據特訓班_爬取與分析_使用Requests與BeautifulSoup練習簡單爬取

今天使用python練習簡單的爬取博客來即時榜爬取內容:1.榜單排名2.書名3.書的圖片網址 import requests from bs4 import B...

Zoey ‧ 2019-04-10

1 Like 1 留言 9332 瀏覽

鐵人賽 Modern Web

瓶子裡裝甚麼藥，使用Flask輕輕鬆鬆打造一個RESTful API 系列第 31 篇

技術 DAY30-搞懂Requests與lxml

筆者怎麼開始flask-restful的 30天的flask-restful終於要告一段落了，今天來談談筆者怎麼接觸flask-restful 本文同步放置於...

kirai ‧ 2018-10-31

0 Like 0 留言 8710 瀏覽

鐵人賽自我挑戰組 DAY 18

M157q 的待業程式生活日誌系列第 18 篇

技術 [2018 iThome 鐵人賽] Day 18: Python 中讓 urllib 使用 cookie 的方法

本文利用工人智慧技術同步發表於我的部落格前言其實一般來說只要用 requests 這個超強的 third-party library 就可以解了，...

M157q ‧ 2018-01-06

0 Like 0 留言 63768 瀏覽

鐵人賽 Software Development DAY 9

[行銷也要自動化] 用 Python Selenium + NodeJS + Amazon EC2 打造簡易關鍵字搜尋報表應用！系列第 9 篇

達標好文技術 Day8：Python requests + bs4 實作模擬登入網站並爬取資料｜Kearch 1.0 爬蟲關鍵字報表工具

上一篇我們用scrapy來爬Y Combinator Blog，它的結構不算太複雜，而且無須登入。但如果今天需要爬取需要登入的網站資料該怎麼做呢？我們可以用py...

Kyle ‧ 2017-12-24

技術 新手-使用python下載股市資訊