iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0 Like 0 留言 1767 瀏覽

鐵人賽 Modern Web DAY 15

mitmproxy 在網路爬蟲上的各種應用系列第 15 篇

技術 Day 15 番外篇 !! 我與麥當勞報報的愛恨情仇

2019 年 2019 年的時候，我因為打工的關係，下班時常常因為懶惰，就直接外帶麥當勞回家。當時我甚至會根據麥當勞報報的抽獎結果來決定晚餐要不要吃麥當勞。...

Yotsuba ‧ 2022-09-30

0 Like 0 留言 1730 瀏覽

鐵人賽 Big Data DAY 9

研究爬蟲的世界系列第 9 篇

技術研究爬蟲的世界 - Simple Crawler 抓取條件

當你只需要抓特定規則的頁面並非全部時，可以設定要抓取的條件，且條件可以有多個。新增抓取條件 var conditionID = crawler.addFetc...

alincode ‧ 2016-12-24

0 Like 0 留言 1657 瀏覽

鐵人賽 Modern Web DAY 5

mitmproxy 在網路爬蟲上的各種應用系列第 5 篇

技術 Day 5 速成爬蟲的第三課 : 認證

認證在真實世界的情況一個網頁頁面能不能讓你看到，取決於你有沒有被認證，或者這個頁面需不需要認證 ? 比方說你正在瀏覽一個公開的 GitHub 專案，你只需要一...

Yotsuba ‧ 2022-09-20

0 Like 0 留言 1606 瀏覽

鐵人賽 Modern Web DAY 2

mitmproxy 在網路爬蟲上的各種應用系列第 2 篇

技術 Day 2 初探網路爬蟲

什麼是網路爬蟲 ? 網路爬蟲又稱網路蜘蛛，是一種自動瀏覽網頁的程式我曾經把網路爬蟲和網路程式設計劃上等號不過網路程式設計聽起來有點太廣泛 ? 好像在述說著整...

Yotsuba ‧ 2022-09-17

0 Like 0 留言 1562 瀏覽

鐵人賽 Modern Web DAY 1

mitmproxy 在網路爬蟲上的各種應用系列第 1 篇

技術 Day 1 前言

作者簡介 Yotsuba 這個名字取自日本動畫《五等分の花嫁》裡面的角色中野四葉。從那之後在網路上，任何需要暱稱的地方，我都以這個名字出現，包括來參加鐵人賽。...

Yotsuba ‧ 2022-09-16

0 Like 0 留言 1547 瀏覽

鐵人賽 DevOps DAY 22

看好了 GitHub Action，我只示範一次。系列第 22 篇

技術特選簡章 Discord 通知 - 爬蟲腳本與數據處理

「讀書人的事，能算偷麼？」孔乙己如果是使用 GitHub Actions 運行爬蟲腳本，就不會被人發現還打斷腳了。在這篇教程中，我們將探討如何使用 Git...

毛哥EM ‧ 2024-10-06

1 Like 0 留言 1454 瀏覽

技術 AI脈搏：首屆代理驅動的網路購物週

什麼是網路購物週？網路購物週在美國是廣為人知的五天線上購物高峰，從感恩節持續到網路星期一。這是電子商務年度最大的流量激增期之一，由大量人類購物者、傳統機器人以...

Akamai ‧ 2025-12-15

0 Like 0 留言 1435 瀏覽

鐵人賽 Modern Web DAY 3

mitmproxy 在網路爬蟲上的各種應用系列第 3 篇

技術 Day 3 速成爬蟲的第一課 : 請求

請求請求 ( request ) 是爬蟲程式的起點，可以說是沒有請求，就沒有後面的程式碼換句話說，一個有 input 和 output 的程式，你可能很習慣...

Yotsuba ‧ 2022-09-18

0 Like 0 留言 1415 瀏覽

技術網路爬蟲-爬取串流平台熱門週排行前50名歌曲清單

目的：爬取串流平台熱門週排行前50名歌曲清單，以利後續作串流平台的數據分析。步驟：匯入需要套件設定headers模擬人為操作爬取週排行前50名歌曲清單...

AlbertShiu ‧ 2024-03-27

0 Like 0 留言 1248 瀏覽

鐵人賽 Modern Web DAY 16

mitmproxy 在網路爬蟲上的各種應用系列第 16 篇

技術 Day 16 利用中間人攻擊達成真正的作弊行為

官方文件的範例 mitmproxy 官方文件的 Setting highscores on Apple’s GameCenter 章節有提到如何利用中間人攻擊竄...

Yotsuba ‧ 2022-10-01

1 Like 0 留言 1206 瀏覽

技術 Day28 參加職訓(機器學習與資料分析工程師培訓班)，網站設計與網頁工程技術

今日練習爬蟲，將爬下來的資料傳到資料庫(今日時間不夠，下次上課再進行) BTC價格 import requests from bs4 import Beauti...

aheating0918 ‧ 2021-08-06

0 Like 0 留言 1089 瀏覽

技術 robots.txt 介紹

前言我的第一篇 IT 邦文章，就來介紹一下最近工作研究的東西吧！我是資訊領域的新手，以前做的偏硬體，後來在做 AI ，發現自己對網頁也很有興趣（反正技術都可互...

Eunice ‧ 2024-08-21

0 Like 0 留言 1087 瀏覽

鐵人賽自我挑戰組 DAY 21

從零基礎到實戰：利用網頁爬蟲結合 RPKM 算法計算 COVID-19 感染者肺部基因表達量系列第 21 篇

技術 Day21：理解 RPKM 計算與數據準備

在基因表現量的分析中，RPKM（Reads Per Kilobase of transcript, per Million mapped reads）是用來標準...

KE-LIN ‧ 2024-10-05

0 Like 1 留言 1007 瀏覽

技術網路爬蟲-氣候變遷災害風險圖臺

我在使用PYTHON爬蟲撈取「氣候變遷災害風險圖臺」的資料時遇到一問題https://dra.ncdr.nat.gov.tw/Frontend/Tools/Sh...

94878 ‧ 2024-03-14

1 Like 0 留言 891 瀏覽

技術 Day34 參加職訓(機器學習與資料分析工程師培訓班)，網站設計與網頁工程技術

目標: 爬取股價，使用線性回歸預測股價 from datetime import time from stock.models import stock_pri...

aheating0918 ‧ 2021-08-18

0 Like 0 留言 776 瀏覽

鐵人賽 AI/ ML & Data DAY 29

輕鬆上手AI專案－影像分類到部署模型系列第 29 篇

技術 [Day 29] 使用爬蟲技術蒐集圖片

前言在準備訓練資料時，可能會需要蒐集大量影像，在網頁上瀏覽到需要的影像時，最直接的方法為一張張手動儲存，但如果想要大量儲存，例如一整個頁面的影像都需要的話，這...

Eunice ‧ 2024-10-12

1 Like 0 留言 577 瀏覽

鐵人賽 Modern Web DAY 8

30天全端：關於網站實作的聊聊系列第 8 篇

技術【DAY08】基本爬蟲聊聊

要抓取保養品的資訊，就要提到爬蟲的技術，去自動化的抓取保養品的相關資料。什麼是爬蟲(Crawler)？是一種自動瀏覽全球資訊網的程式透過http請求對網...

Bonnie1226 ‧ 2023-09-23 ‧團隊消波塊上的海洋貓貓

0 Like 0 留言 540 瀏覽

技術 [求救]google classroom爬蟲

google classroom作業可以爬蟲嗎?

Troy2000 ‧ 2020-09-23

0 Like 0 留言 509 瀏覽

鐵人賽自我挑戰組 DAY 17

從零基礎到實戰：利用網頁爬蟲結合 RPKM 算法計算 COVID-19 感染者肺部基因表達量系列第 17 篇

技術 Day17：處理缺失值與異常數據

在數據處理的過程中，清理數據是非常重要的一步，今天我將著重於處理數據中的缺失值與異常數據，這些數據可能是由於爬蟲過程中的解析錯誤導致的，因此需要再進行進一步的分...

KE-LIN ‧ 2024-10-01

0 Like 0 留言 471 瀏覽

鐵人賽自我挑戰組 DAY 16

從零基礎到實戰：利用網頁爬蟲結合 RPKM 算法計算 COVID-19 感染者肺部基因表達量系列第 16 篇

技術 Day16：儲存爬取的基因位置訊息

今天我將正式保存之前爬取和解析的基因位置訊息，並進行數據檢查，確保所有數據的完整性，這一步的目的是將整理後的基因位置訊息儲存到一個 Excel 文件中，並為後續...

KE-LIN ‧ 2024-09-30

0 Like 0 留言 452 瀏覽

鐵人賽自我挑戰組 DAY 13

從零基礎到實戰：利用網頁爬蟲結合 RPKM 算法計算 COVID-19 感染者肺部基因表達量系列第 13 篇

技術 Day13：添加爬蟲日誌記錄與進度追蹤

今天的目標是為爬蟲過程添加日誌記錄和進度追蹤功能。這些功能能夠幫助我在抓取大量數據時了解整體進度，並在出現錯誤時快速定位問題，原因是因為當處理成千上萬個基因數...

KE-LIN ‧ 2024-09-27

0 Like 0 留言 430 瀏覽

鐵人賽自我挑戰組 DAY 24

從零基礎到實戰：利用網頁爬蟲結合 RPKM 算法計算 COVID-19 感染者肺部基因表達量系列第 24 篇

技術 Day24：儲存最終數據並進行清理

今天我將集中於清理之前計算出的 RPKM 結果，並保存最終的基因表現數據，因為在進行生物學數據分析時，清理異常值是必不可少的步驟，這能夠幫助我確保結果的準確性。...

KE-LIN ‧ 2024-10-08

0 Like 0 留言 426 瀏覽

鐵人賽自我挑戰組 DAY 19

從零基礎到實戰：利用網頁爬蟲結合 RPKM 算法計算 COVID-19 感染者肺部基因表達量系列第 19 篇

技術 Day19：整理最終爬取的基因數據

今天我將集中精力整理之前爬取到的所有基因數據，並將他保存為最終結果文件，先前我已經成功抓取了每個基因的詳細頁面，並提取了基因的起始與結束位置，現在我需要將這些數...

KE-LIN ‧ 2024-10-03

0 Like 0 留言 415 瀏覽

鐵人賽自我挑戰組 DAY 1

從零基礎到實戰：利用網頁爬蟲結合 RPKM 算法計算 COVID-19 感染者肺部基因表達量系列第 1 篇

技術 Day1：自我挑戰之前言與目標概述

哈囉~大家好~第一次參與 IT 鐵人賽，好緊張啊~ 挑戰目標這次挑戰的核心是透過 Python 爬取基因相關資訊，並結合 RPKM（Reads Per Kil...

KE-LIN ‧ 2024-09-15

0 Like 0 留言 390 瀏覽

鐵人賽自我挑戰組 DAY 20

從零基礎到實戰：利用網頁爬蟲結合 RPKM 算法計算 COVID-19 感染者肺部基因表達量系列第 20 篇

技術 Day20：基因長度數據檢查與清理

今天我將要檢查和清理基因的長度數據。在進行 RPKM 計算之前，確保基因長度數據的準確性非常重要，RPKM 計算依賴於基因的長度來進行標準化，因此我們需要確保...

KE-LIN ‧ 2024-10-04

0 Like 0 留言 373 瀏覽

鐵人賽自我挑戰組 DAY 18

從零基礎到實戰：利用網頁爬蟲結合 RPKM 算法計算 COVID-19 感染者肺部基因表達量系列第 18 篇

技術 Day18：優化爬蟲性能與數據處理流程

今天的目標是進一步優化爬蟲性能，並簡化數據處理流程，我將對網絡請求的並發進行控制，確保在處理大量數據時系統不會過載，同時我對數據處理過程進行簡化，減少不必要的操...

KE-LIN ‧ 2024-10-02

0 Like 0 留言 366 瀏覽

鐵人賽自我挑戰組 DAY 14

從零基礎到實戰：利用網頁爬蟲結合 RPKM 算法計算 COVID-19 感染者肺部基因表達量系列第 14 篇

技術 Day14：處理爬蟲過程中的異常情況

爬蟲過程中，網路波動或伺服器超時等等的情況是不可避免的，今天我將著重於如何在爬蟲過程中應對這些異常情況，並保證爬蟲的穩定性；通過加入錯誤處理機制，我可以在面對各...

KE-LIN ‧ 2024-09-28

0 Like 0 留言 361 瀏覽

鐵人賽自我挑戰組 DAY 23

從零基礎到實戰：利用網頁爬蟲結合 RPKM 算法計算 COVID-19 感染者肺部基因表達量系列第 23 篇

技術 Day23：準確計算基因的 RPKM 值

今天我要把之前計算出的 RPKM 值保存到 Excel 文件中，並進行驗證，以確保數據的正確性和完整性。首先我將 RPKM 的計算結果與原始的基因數據（例如基...

KE-LIN ‧ 2024-10-07

0 Like 0 留言 353 瀏覽

鐵人賽自我挑戰組 DAY 15

從零基礎到實戰：利用網頁爬蟲結合 RPKM 算法計算 COVID-19 感染者肺部基因表達量系列第 15 篇

技術 Day15：整合爬取的基因數據

今天的目標是將所有爬取到的基因數據整合到一個完整的 DataFrame 中，我已經成功爬取了每個基因的詳細頁面，並從中提取了基因的起始與結束位置；現在我需要將這...

KE-LIN ‧ 2024-09-29

0 Like 0 留言 337 瀏覽

鐵人賽自我挑戰組 DAY 22

從零基礎到實戰：利用網頁爬蟲結合 RPKM 算法計算 COVID-19 感染者肺部基因表達量系列第 22 篇

技術 Day22：實際計算樣本的總讀數

今天的工作重點是確認並計算樣本的總讀數，這是 RPKM 算法中非常重要的一部分，總讀數是每個樣本中所有基因的讀數總和，它用來標準化基因的表現量，從而使不同樣本之...

KE-LIN ‧ 2024-10-06