只要有 UGC (User-generated contents)，就是要花費大把青春跟 Spam 對抗。
這一方面是一個證明自己的服務有人用的象徵，一方面也是無法逃過的宿命。

詐騙連結

因為我們沒人，99%以上的情況一定要用系統方式阻擋，不可能用人力去看，不然完全不符合成本。
因為有一對一聊天，日活超過幾千人後，很快就發現有業者開始來亂了。
常見的是會有人傳連結來要讓人家按，通常當然是各種詐騙連結。
最簡單最無腦的方法是禁止一切連結，但有些人只是單純分享 youtube 影片這種，所以不能把所有連結都擋掉。

第一次對戰：擋 domain

我們做的第一步就是擋住這些已知的詐騙 domain。
在後台收集好這些 domain，會做一些初步的人工篩選。
對方也是很習慣被擋，一發現自己被擋之後，對方馬上改成短網址繞過我們的阻擋。
看來敵方經驗豐富，ＳＯＰ已經準備萬全。

第二次對戰：擋 IP

下一步，擋 domain 沒用之後，我們很自然的想去改擋對方的ＩＰ。
對於這點小伎倆，對方也是波瀾不驚，也是馬上改ＩＰ。
像Tor這種服務很輕鬆就能辦到，也很難抓。
https://www.torproject.org/

第三次對戰：又回去擋短網址 domain

所以我們又回去擋這些人用的短網址 domain
因為我們發現這些人也只會用一些特定的短網址，通常不是常用的那幾個。
這樣看來，這些常用的短網址網頁已經先擋過一波這些詐騙了。
你以為詐騙集團這樣就放棄了嗎？太天真了。

最終對決

我們擋網址，都是用很簡單的字串匹配。
這時候好戲來了，他們開始用奇怪的字母來改寫他們的網址。
因為一般的瀏覽器都會把這些字母自動 normalize 成正常字母，所以還是可以開啟他們本來的網頁。
比如說把下面這個字串貼在網址欄："ℰ??m?le.?ℴ?" ，大部分的瀏覽器都會自動轉成 "example.com"
這樣一來他們等於可以無限的用各種排列組合來規避，我們擋也擋不完
最後我們只好用跟瀏覽器一樣的方法 normalize 過一次再擋
因為找不到現成的 library，我們還自己弄了一個，哈哈
這步驟做完，才真正擋掉大多數的傳連結式的詐騙。

ponyopoppo/url-black-list (github.com)
（名字亂取，很不符合 compliance ，哈哈）

最新文章會分享在臉書：https://www.facebook.com/gigi.wuwu/
歡迎留言討論