技術 python 爬蟲自動更新header

在網路爬蟲中，自動更新 headers 是一種常用的技術，用於模擬不同的用戶請求，以避免被目標網站屏蔽或識別為機器人。Headers 是 HTTP 請求中的重要...

技術 [Python爬蟲] YFinance 模組

YFinance 模組 想像你是一位探險家，探索充滿神秘的金融世界。在這裡，股市就像一座變化莫測的山脈，股價每天都在起起伏伏。這時，yfinance套件就像你手...

技術 [Python爬蟲] Selenium 模組

Selenium 模組 Selenium 是一個用於自動化網頁瀏覽器操作的工具，廣泛用於網頁測試、爬蟲等場景。以下是一個基於 Python 的 Seleniu...

技術 [Python爬蟲] Requests 模組

Requests模組 requests 是一個非常流行的 Python 套件，用於發送 HTTP 請求。它的設計目的是使 HTTP 請求變得簡單易用。以下是對...

技術 [Python爬蟲] 分析目標網站

分析目標網站 分析網站 - 股市GoodInfo 使用瀏覽器開發工具來分析網站並找出資訊、網頁與可用的 API 是一項實用的技能。以下是一個步驟指南，說明如何...

技術 [Python爬蟲] 網路爬蟲

網路爬蟲 Python爬蟲是指使用Python程式語言來從網頁上抓取資料的技術。這個過程涉及發送請求到網站，獲取網頁內容，然後解析這些內容以提取有用的資訊。以...

技術 【DAY23】我是安全的user-agent！修改自己的header

還記得昨天被擋的情形嗎？如何解決呢。 遇到被阻擋的問題 還是記得Day22有提到， 請求的同時會把所需資料(headers, cookies, post da...

技術 【DAY22】爬蟲套件種類 & urllib

今天來講爬蟲的套件，以及會比較詳細的聊到urllib 常用的為以下三類 套件種類 內建 urllib 第三方套件 requests Beautifu...

技術 【Day 26】網路爬蟲 - Beautiful Soup篇

很可惜，昨天太忙忘記撰寫第26天的文章，但我還是會完成30天的文章。 今日大綱 爬蟲介紹 搜尋HTML特定的標籤與屬性 搜尋CSS特定的屬性 CSS選擇器 其...

技術 Python爬蟲練習 Instagram follow(ing/er) list crawler

github網址 學習筆記 復習到Python爬蟲寫法 比對兩筆資料(difflib)寫法 pickle儲存session try except寫報錯方法 路...

技術 學校體溫自動上傳爬蟲（學習記錄）

動機 因為疫情，這學習開始學校要求大家每天都要在九點前到學校網站上傳體溫，我覺得非常麻煩。動點，果沒傳要被記警告！?這種麻煩的要求我當然是不會每天乖乖上傳的，於...

技術 Day 2 股市每五秒指數爬蟲

第二天啦~ 今天要講的是如何實作爬蟲，爬台股每五秒指數的歷史資訊。 第一步 先到 https://www.twse.com.tw/zh/page/trading...

技術 大數據解決方案中的網頁數據抓取

到2020年，“數字宇宙” 估計將擁有40萬億千兆字節或40兆字節的信息。由於要分析的可用數據量很大，因此必須將其與Web抓取技術相關聯，這樣才能有效地減少大數...

達標好文 技術 1. Python大數據特訓班_爬取與分析_使用Requests與BeautifulSoup練習簡單爬取

今天使用python練習簡單的爬取博客來即時榜爬取內容:1.榜單排名2.書名3.書的圖片網址 import requests from bs4 import B...