iT邦幫忙

爬蟲相關文章
共有 90 則文章
鐵人賽 AI & Data DAY 26

技術 【Day 25】用 Scrapy 爬取 iT 邦幫忙的技術文章

大概兩個禮拜前我們已經有用 requests + BeautifulSoup 兩個套件來把文章爬取下來了,今天會把相關的邏輯都移植到 Scrapy 框架中。先附...

鐵人賽 AI & Data DAY 25

技術 【Day 24】第一個 Scrapy 爬蟲

昨天用 scrapy genspider ithome ithome.com 指令建立出來的爬蟲檔案 ithome.py 內容是這樣: import scrap...

鐵人賽 AI & Data DAY 24

技術 【Day 23】準備 Scrapy 開發環境

安裝 安裝套件 pipenv install scrapy 曾經在安裝的時候遇到 Twisted 一直安裝失敗,無法透過 pip 安裝。如果有遇到的讀...

鐵人賽 AI & Data DAY 23

技術 【Day 22】Scrapy 簡介

寫了好幾天的爬蟲,不知道大家有沒有感覺同一支程式中要關注的事情太多。目前我們爬蟲的流程大概是這樣: 發送請求,取得網頁 HTML 原始碼 可能需要額外的重試...

鐵人賽 AI & Data DAY 22

技術 【Day 21】反反爬蟲 (2/2)

昨天發文後想到另一個狀況,是因為系統架構設計的關係,網站上呈現的資料並沒有在第一次發請求時取得,而是在網頁載入後陸續以 AJAX 的方式取得資料顯示在畫面上,或...

鐵人賽 AI & Data DAY 21

技術 【Day 20】反反爬蟲

有些網站可能不太希望自己的內容被爬取,例如比價網站爬取各個線上購物的網站後,讓消費者很容易比價,就有可能讓某些網站流失消費者。另外如果太多外部的爬蟲在對伺服器發...

鐵人賽 AI & Data DAY 20

技術 【Day 19】資料持久化 - NoSQL (2/2)

先附上完整原始碼。跟 Day 17 的程式碼相比,只修改了 insert_article() 和 insert_responses() 兩個方法,把目標資料庫換...

鐵人賽 AI & Data DAY 19

技術 【Day 18】資料持久化 - NoSQL (1/2)

抓下來的資料通常還要經過一系列的統計分析再呈現結果給使用者。這種資料一般稱為原始資料,大部分情況下抓回來後會儲存在所謂的 NoSQL 中。這兩天就會跟著大家一起...

鐵人賽 AI & Data DAY 18

技術 【Day 17】資料持久化 - RDBMS (4/4)

在前三天的內容中,我們已經把文章和回應都存到資料庫中了,但如果都是用新增的方式,每次執行時如果抓到同一篇文章都會在資料庫中多出一筆,很容易造成後續分析時的誤差。...

鐵人賽 AI & Data DAY 17

技術 【Day 16】資料持久化 - RDBMS (3/4)

延續昨天的內容,今天會把回應的資料存到資料庫中~ 建立資料表 建立 ithome_response 資料表,並定位相關欄位如下: 這張表比較需要注意的是有...

鐵人賽 AI & Data DAY 16

技術 【Day 15】資料持久化 - RDBMS (2/4)

今天來試著把我們從列表頁開始,一路抓到的文章內容和資訊都存到資料庫中! 突然想到還沒整理過完整流程的原始碼,先來整理一下唄~ import requests f...

鐵人賽 AI & Data DAY 15

技術 【Day 14】資料持久化 - RDBMS (1/4)

寫完蒐集資料的程式後,接著要選擇儲存資料的方式,通常會選擇關聯式資料庫(RDBMS)或非關聯式資料庫(NoSQL) ,應該比較少人會存成本地檔案吧。這個系列會分...

鐵人賽 AI & Data DAY 14

技術 【Day 13】蒐集 iT 邦幫忙的技術文章 (6/6) - 回文

除了原文外,回文常常也是重要的資料來源之一(特別是論壇類型的網站),所以今天來嘗試把回文也抓回來吧! 技術文章有回文的不多,找到 30天30碗平民魯肉飯完食!...

鐵人賽 AI & Data DAY 13

技術 【Day 12】蒐集 iT 邦幫忙的技術文章 (5/6) - 文章資訊

通常蒐集的資料範圍不會只有文章標題和內文,還會有作者、發文時間、標籤,甚至瀏覽數、回文等等比較詳細的資訊。今天先來抓取比較簡單的幾個資訊吧。 區塊定位 昨天我們...

鐵人賽 AI & Data DAY 12

技術 【Day 11】蒐集 iT 邦幫忙的技術文章 (4/6) - 內文

今天來試著抓文章的內文吧!這邊就用昨天的文章來作為爬取目標 ,順便偷人氣。 決定選擇器 直接在內文中點選「右鍵 > 檢查」打開開發人員工具,可以直接定位到...

鐵人賽 AI & Data DAY 11

技術 【Day 10】蒐集 iT 邦幫忙的技術文章 (3/6) - 換頁

昨天我們只有抓到第一頁的文章標題,今天就來試著讓程式學會「換頁」吧! 換頁方式 當我們在網頁中按下第二頁或下一頁後,可以發現網址變成 https://ithe...

鐵人賽 AI & Data DAY 5
人工智慧 vs.工人智慧 系列 第 5

技術 Day 05 : 先來當個爬蟲

前面提到了我們要使用 PTT 的文章當作資料集,所以今天就來教大家怎麼當個爬蟲抓資料。 相信大家直接 Google “文章爬蟲”會找到許多教學文件,也有許多現有...

技術 你可能遇到的防刮技術...

隨著大數據的出現,人們開始在網絡抓取工具的幫助下從互聯網上獲取數據進行數據分析。有多種方法可以製作自己的抓取工具:瀏覽器中的擴展,使用Beautiful Sou...

技術 爬蟲練功之路

參考 https://ithelp.ithome.com.tw/articles/10190573 Howard大開始爬蟲之旅! 列一下自己想要完成的目標:...

技術 1. Python大數據特訓班_爬取與分析_2.)BeautifulSoup

大家好,我是Zoey今天是第二天發文,還有很多不足,還請多多包涵,有錯誤可以糾正我喔!!!!謝謝!! BeautifulSoup:網頁解析 使用Beautifu...

達標好文 技術 1. Python大數據特訓班_爬取與分析_1.)Requests

大家好,我是Zoey第一次打技術筆記,打得不好抱歉了最近在看書練習python想說順便做做筆記有打得不好或是錯誤的地方再麻煩糾正我,謝謝大家 課本使用這本書名:...

技術 [C#][爬蟲] 如何解碼 Content-Disposition

最近在研究如何利用爬蟲下載檔案,有次在爬一個 Big5 編碼的網站時,發生一件令我困惑的事。 該網站的回傳 Header 大致如下,使用 Chrome 瀏覽器。...

鐵人賽 Modern Web DAY 30

達標好文 技術 第三十天:卡米狗查天氣

今天就是最後一天惹,有些事情想跟你們講一下,那就是我們前幾天到底在幹嘛。 以下是一些示意圖,說明我們的 HTTP request 傳遞的路徑。 回覆訊息 Li...

鐵人賽 Software Development DAY 10

技術 Day9:ajax動態載入網頁爬蟲|Kearch 1.0 爬蟲關鍵字報表工具

爬蟲系列文章整理: Python scrapy 爬取 Y combinator BlogPython requests 模擬網站登入爬蟲 今天示範如何爬取...

鐵人賽 AI & Machine Learning DAY 8

技術 網路爬蟲Day6 - 爬蟲進階: 非同步爬蟲配上多執行續

概述 在開始看這篇文章之前,非常建議大家先熟悉個別的技術: 非同步技術以及多執行緒網頁爬取技術。以下,我想針對「他們的差別」以及在「多執行緒的技術理解焦點」兩個...

鐵人賽 AI & Machine Learning DAY 7

技術 網路爬蟲Day5 - 爬蟲進階: 非同步爬蟲程式的撰寫

概述 在網頁的取得上,因為每次去要求server回傳html檔時,都要等待回應一段時間,此時client端(也就是你的電腦)其實是沒有在運算的,因此若能夠使用這...

鐵人賽 AI & Machine Learning DAY 6

技術 網路爬蟲Day4 - html檔的解析

概述 在解析html檔時,我們首先需要了解兩個概念,第一個是html標籤,這個部分也是組成網頁的最主要部分,第二個是定位html標籤的方法selector以及X...

鐵人賽 AI & Machine Learning DAY 5

達標好文 技術 網路爬蟲Day3 - html檔的取得及常見問題(續)

接續昨天的文章... 4. 實務問題三: 一般網站的防爬蟲機制 因為網站的防爬蟲機制,一般都是在requests的階段會碰到問題,所以就在這部分講一講,比較常遇...

鐵人賽 AI & Machine Learning DAY 4

技術 網路爬蟲Day2 - html檔的取得及常見問題

一、概述 要取得html檔,我們首先就必須了解,前端(瀏覽器)是如何跟每個網站的伺服器要資料,以下詳細說明。 二、Http動詞 從RestfulApi的理論來說...

鐵人賽 AI & Machine Learning DAY 3

達標好文 技術 網路爬蟲Day1 - 概述

前言MurMur... 原本規畫這個部分可以寫個十天左右。不過,因為我之前就有寫過爬蟲文章,所以為了不讓自己太偷懶(笑),所以可能會縮短一點。另外,再加上,早上...