iT邦幫忙

爬蟲相關文章
共有 41 則文章

技術 從電子商務網站提取數據的3大挑戰

電子商務市場內的競爭異常激烈。僅在亞馬遜上就有200万賣家,每天都會更新大量的商品。因此,許多企業選擇通過網絡抓取來提取數據。但是,您需要意識到三個障礙,這些障...

技術 Amazon 採集器:隨時監控您的業務

亞馬遜無疑是全球最大的在線零售商。亞馬遜上有超過1200萬種產品。此外,每月有超過2.06億人訪問Amazon.com。鑑於如此眾多的訪問者和大量產品,許多零售...

技術 練習2:用Session和cookie以get方式通過18歲同意條款頁面

可以先來看到 https://www.ptt.cc/ask/over18 的驗證頁面: 按下我同意後就會跳轉至主頁,可以看到表單是以POST的形式傳送,確認預...

技術 練習1: 用BeautifulSoup和requests模組爬取ptt熱門看板標題

筆者很廢...所以還請看到這篇練習文的大佬嘴下留情 :) 先確認BeautifulSoup4已經安裝了,若是還沒請: pip3 install beautifu...

鐵人賽 AI & Data

技術 【Day 32】Scrapy 爬取 iT 邦幫忙的回文

在 Day 13 的內容中,我們有把回文都爬回來,今天會把相關的邏輯都移植到 Scrapy,同時整理一下目前的程式碼。相關的程式碼都放在 gist 上了,接下來...

鐵人賽 AI & Data

技術 【Day 31】在 Scrapy 中操作瀏覽器

在 Day 21 的內容中有介紹 Selenium 和 puppeteer 兩種在程式中操作瀏覽器的方式,今天來看看怎麼在 Scrapy 中使用。 Seleni...

鐵人賽 AI & Data

技術 【Day 30】在程式中啟動 Scrapy 爬蟲

目前為止我們都是用 scrapy crawl <spider-name> 指令來啟動爬蟲,但有時候可能需要在程式中來啟動爬蟲(例如提供一個 API...

鐵人賽 AI & Data DAY 30

技術 【Day 29】在 Scrapy 中處理請求和回應 - Downloader Middlewares

在 Day 22 的文章中有提到 Scrapy Engine 和 Downloader 間的資料傳遞會經過一系列的 Downloader Middlewares...

鐵人賽 AI & Data DAY 29

技術 【Day 28】Item Pipelines 應用 - 儲存資料到 MongoDB

延續昨天的主題,今天要建立一個 Pipeline 元件,用來將爬到的資料存到 MongoDB 中。 建立 Pipeline 元件 在專案目錄的 pipeline...

鐵人賽 AI & Data DAY 28

技術 【Day 27】在 Scrapy 中處理爬取結果 - Item Pipelines

當 scrapy.Spider 爬蟲抓到資料後,會將資料送往 Item Pipelines 進行一系列的處理。常見的使用情境是: 清理 HTML 資料 驗證資...

鐵人賽 AI & Data DAY 27

技術 【Day 26】Scrapy 的結構化資料 - Item

在前幾天的爬蟲中,我們都是以 Python dict 的結構在儲存爬取結果,隨著爬蟲數量增加,會在越來越多的程式中使用到相同的結構來儲存資料,但同時也容易在不同...

鐵人賽 AI & Data DAY 26

技術 【Day 25】用 Scrapy 爬取 iT 邦幫忙的技術文章

大概兩個禮拜前我們已經有用 requests + BeautifulSoup 兩個套件來把文章爬取下來了,今天會把相關的邏輯都移植到 Scrapy 框架中。先附...

鐵人賽 AI & Data DAY 25

技術 【Day 24】第一個 Scrapy 爬蟲

昨天用 scrapy genspider ithome ithome.com 指令建立出來的爬蟲檔案 ithome.py 內容是這樣: import scrap...

鐵人賽 AI & Data DAY 24

技術 【Day 23】準備 Scrapy 開發環境

安裝 安裝套件 pipenv install scrapy 曾經在安裝的時候遇到 Twisted 一直安裝失敗,無法透過 pip 安裝。如果有遇到的讀...

鐵人賽 AI & Data DAY 23

技術 【Day 22】Scrapy 簡介

寫了好幾天的爬蟲,不知道大家有沒有感覺同一支程式中要關注的事情太多。目前我們爬蟲的流程大概是這樣: 發送請求,取得網頁 HTML 原始碼 可能需要額外的重試...

鐵人賽 AI & Data DAY 22

技術 【Day 21】反反爬蟲 (2/2)

昨天發文後想到另一個狀況,是因為系統架構設計的關係,網站上呈現的資料並沒有在第一次發請求時取得,而是在網頁載入後陸續以 AJAX 的方式取得資料顯示在畫面上,或...

鐵人賽 AI & Data DAY 21

技術 【Day 20】反反爬蟲

有些網站可能不太希望自己的內容被爬取,例如比價網站爬取各個線上購物的網站後,讓消費者很容易比價,就有可能讓某些網站流失消費者。另外如果太多外部的爬蟲在對伺服器發...

鐵人賽 AI & Data DAY 20

技術 【Day 19】資料持久化 - NoSQL (2/2)

先附上完整原始碼。跟 Day 17 的程式碼相比,只修改了 insert_article() 和 insert_responses() 兩個方法,把目標資料庫換...

鐵人賽 AI & Data DAY 19

技術 【Day 18】資料持久化 - NoSQL (1/2)

抓下來的資料通常還要經過一系列的統計分析再呈現結果給使用者。這種資料一般稱為原始資料,大部分情況下抓回來後會儲存在所謂的 NoSQL 中。這兩天就會跟著大家一起...

鐵人賽 AI & Data DAY 18

技術 【Day 17】資料持久化 - RDBMS (4/4)

在前三天的內容中,我們已經把文章和回應都存到資料庫中了,但如果都是用新增的方式,每次執行時如果抓到同一篇文章都會在資料庫中多出一筆,很容易造成後續分析時的誤差。...

鐵人賽 AI & Data DAY 17

技術 【Day 16】資料持久化 - RDBMS (3/4)

延續昨天的內容,今天會把回應的資料存到資料庫中~ 建立資料表 建立 ithome_response 資料表,並定位相關欄位如下: 這張表比較需要注意的是有...

鐵人賽 AI & Data DAY 16

技術 【Day 15】資料持久化 - RDBMS (2/4)

今天來試著把我們從列表頁開始,一路抓到的文章內容和資訊都存到資料庫中! 突然想到還沒整理過完整流程的原始碼,先來整理一下唄~ import requests f...

鐵人賽 AI & Data DAY 15

技術 【Day 14】資料持久化 - RDBMS (1/4)

寫完蒐集資料的程式後,接著要選擇儲存資料的方式,通常會選擇關聯式資料庫(RDBMS)或非關聯式資料庫(NoSQL) ,應該比較少人會存成本地檔案吧。這個系列會分...

鐵人賽 AI & Data DAY 14

技術 【Day 13】蒐集 iT 邦幫忙的技術文章 (6/6) - 回文

除了原文外,回文常常也是重要的資料來源之一(特別是論壇類型的網站),所以今天來嘗試把回文也抓回來吧! 技術文章有回文的不多,找到 30天30碗平民魯肉飯完食!...

鐵人賽 AI & Data DAY 13

技術 【Day 12】蒐集 iT 邦幫忙的技術文章 (5/6) - 文章資訊

通常蒐集的資料範圍不會只有文章標題和內文,還會有作者、發文時間、標籤,甚至瀏覽數、回文等等比較詳細的資訊。今天先來抓取比較簡單的幾個資訊吧。 區塊定位 昨天我們...

鐵人賽 AI & Data DAY 12

技術 【Day 11】蒐集 iT 邦幫忙的技術文章 (4/6) - 內文

今天來試著抓文章的內文吧!這邊就用昨天的文章來作為爬取目標 ,順便偷人氣。 決定選擇器 直接在內文中點選「右鍵 > 檢查」打開開發人員工具,可以直接定位到...

鐵人賽 AI & Data DAY 11

技術 【Day 10】蒐集 iT 邦幫忙的技術文章 (3/6) - 換頁

昨天我們只有抓到第一頁的文章標題,今天就來試著讓程式學會「換頁」吧! 換頁方式 當我們在網頁中按下第二頁或下一頁後,可以發現網址變成 https://ithe...

鐵人賽 AI & Data DAY 5
人工智慧 vs.工人智慧 系列 第 5

技術 Day 05 : 先來當個爬蟲

前面提到了我們要使用 PTT 的文章當作資料集,所以今天就來教大家怎麼當個爬蟲抓資料。 相信大家直接 Google “文章爬蟲”會找到許多教學文件,也有許多現有...

技術 你可能遇到的防刮技術...

隨著大數據的出現,人們開始在網絡抓取工具的幫助下從互聯網上獲取數據進行數據分析。有多種方法可以製作自己的抓取工具:瀏覽器中的擴展,使用Beautiful Sou...

技術 爬蟲練功之路

參考 https://ithelp.ithome.com.tw/articles/10190573 Howard大開始爬蟲之旅! 列一下自己想要完成的目標:...