技術 robots.txt 明明放行了，Cloudflare 卻冷冷回個 403？揪出 WAF 與 Bot Fight Mode 的隱形暗礁

昨天 (Day 8) 我們寫的那支 Worker，其實藏了一個很殘酷的前提：它得先有命活到被執行。 你一定遇過這種見鬼的狀況。你的 robots.txt 明明白...

技術 靠人不如靠己：不到 90 行 Cloudflare Worker，親手榨出 AI 爬蟲的真實足跡

昨天的結論很殘酷：如果你沒有被 Enterprise 方案包養，又想拿到那些絲絲入扣的 AI 爬蟲造訪細節，你唯一能走的自助路線只有一條，就是在邊緣節點 (Ed...

技術 AI Crawl Control 沒給你的那些承諾：看清他的底細之後，我們還剩下什麼？

昨天我們把 Cloudflare AI Crawl Control 的底朝天翻了一遍。它免費、五分鐘搞定、不用寫半行程式，而且真的會遞給你一張「到底有誰來碰過你...

技術 robots.txt 的 AI 條目：你立下的規矩，到底有誰在乎？教你親自驗證他們的忠誠度

一個所有人都避而不談的殘酷問題 你在門口的 robots.txt 狠狠寫下這幾行，指名道姓叫 GPTBot 滾出去： User-agent: GPTBot Di...

技術 UA 會騙人：用 IP 與 ASN 撕下 AI 爬蟲的偽裝，實測那些冒名頂替的騙子

昨天我們拆解了 AI 流量的三種行為。今天我們要來摧毀一個更基礎的信任前提：你憑什麼相信門外那個自稱 GPTBot 的真的是他？ 答案很殘酷：你根本不知道。lo...

技術 三種 AI 流量：訓練爬取、即時檢索、AI 導流，他們的行為完全不同

經過前兩天的洗禮，你手上應該握著一份名單，記滿了誰來過、來過幾次。今天我們要面對更核心、也更讓人不安的問題：這些造訪背後，到底藏著什麼樣的企圖？ 一句「AI 來...

技術 AI 爬蟲圖鑑：GPTBot、ClaudeBot、PerplexityBot 等等，認清那些半夜敲門的陌生人

昨天我們下了三道指令，把 access log 裡那些假裝是正常人類的訪客，和毫不掩飾自己是爬蟲的傢伙分成了兩堆。第二堆名單通常會浮現十幾個名字，看起來就像這樣...

技術 你的網站有多少訪客根本不是人？ Server Log 與 GA4 之間的鴻溝

先看一個兜不攏的現實 從去年開始，我越來越常聽到同一種焦慮：站長打開 GA4，看著這個月幾千個工作階段；接著切到主機商的流量統計或是 raw access lo...

技術 GEO (Generative Engine Optimization ) 生成式引擎最佳化初探

幾天前有行銷顧問公司來介紹他們的AI Solution, 聽到GEO這個Term, 查了一下蠻有趣的, 有在經營的YT可以玩一下看自己是不是AI認證網紅? 🌟生...

技術 原來PDF也可以很GIS

日前赫然發現原來有一種格式叫GeoPDF 或許大家可能聽過GeoTiff，Geo就代表Georeferenced 就是具有坐標系統的資料，可以表達出在實際空間的...