iT邦幫忙

鐵人檔案

2022 iThome 鐵人賽
回列表
Modern Web

mitmproxy 在網路爬蟲上的各種應用 系列

我認為網路爬蟲的核心在於對封包的逆向能力

換句話說,如果你想要實現一個網頁的自動化,你就必須先分析網頁 API 才能寫程式

怎麼分析 API 即是核心,寫程式反而是相對不重要的,畢竟你要用什麼語言實現網頁自動化都無所謂


我的文章將以 HTTP 網路封包為切入點,搭配上 mitmproxy 這個強大的工具實現各種封包操作

我想以深入且詳細的內容完賽獲獎,然後獲得出版書籍的機會

參賽天數 18 天 | 共 18 篇文章 | 10 人訂閱 訂閱系列文 RSS系列文
DAY 11

Day 11 mitmproxy 針對封包的各種操作

mitmproxy 工具集合 在安裝好 mitmproxy 後,其實會得到三樣工具,分別是 : mitmproxy、mitmdump 和 mitmweb。 mi...

2022-09-26 ‧ 由 Yotsuba 分享
DAY 12

Day 12 mitmproxy 的幾種運作模式

官方文件的 Modes of Operation 章節的流程圖 以下我將根據這張圖片,來和大家走一次流程圖。 圖片引用自 mitmproxy 官方文件的 M...

2022-09-27 ‧ 由 Yotsuba 分享
DAY 13

Day 13 比較 mitmproxy、Wireshark、Fiddler 與 Charles

Wireshark 實際上,Wireshark 才是真正意義上的「撈封包軟體」,就像 Linux 的 tcpdump 那樣。 可以選擇任何網卡裝置開始監聽封包,...

2022-09-28 ‧ 由 Yotsuba 分享
DAY 14

Day 14 SSL Pinning,與中間人攻擊抗衡的機制

一般情況下的 HTTPS 連線 一般情況下,在建立 HTTPS 連線的時候,客戶端會去檢查伺服器端的憑證。只有憑證合法的情況下才繼續連線。 客戶端會有一個憑證列...

2022-09-29 ‧ 由 Yotsuba 分享
DAY 15

Day 15 番外篇 !! 我與麥當勞報報的愛恨情仇

2019 年 2019 年的時候,我因為打工的關係,下班時常常因為懶惰,就直接外帶麥當勞回家。 當時我甚至會根據麥當勞報報的抽獎結果來決定晚餐要不要吃麥當勞。...

2022-09-30 ‧ 由 Yotsuba 分享
DAY 16

Day 16 利用中間人攻擊達成真正的作弊行為

官方文件的範例 mitmproxy 官方文件的 Setting highscores on Apple’s GameCenter 章節有提到如何利用中間人攻擊竄...

2022-10-01 ‧ 由 Yotsuba 分享
DAY 17

Day 17 M3U8 協定與利用多線呈實現平行爬取,謎片下載器實作

M3U8 HLS 是由蘋果提出的串流媒體網路傳輸協定。 在一個 HLS 連線開始的時候,客戶端會先去請求一個 M3U8 格式的文件,裡面紀錄著播放列表檔案。 與...

2022-10-02 ‧ 由 Yotsuba 分享
DAY 18

Day 18 你知道 Twitter 影片也是 M3U8 協定嗎 ? Twitter 影片下載器實作

動機 想要寫一個 Twitter 影片下載器 的動機,是在玩 Nintendo Switch 的時候,希望可以把截圖和錄影傳送到 PC。 NS 有連動 Twit...

2022-10-03 ‧ 由 Yotsuba 分享