Day 18 Topic:爬蟲
話題標籤: #網路爬蟲爬什麼?
初來乍到的我,還以為是什麼網路軟體方面的 Bug, 不過說回來確實也有些爭議,因為爬的資料有些也許是個別人類群體不願意開放使用的,大量的爬,也會造成 Server 的負擔。
有點資歷的朋友可能都經歷過 PTT (批踢踢實業坊),那時大家都說,不懂就去"爬"文,不確定爬這個字是不是由此來,後來可以用Python寫程式再網路上爬個幾天幾夜,然後AI 技術的盛行,AI 也需要"爬"文阿,也是機器學習、建構海量資料庫的一環,故所以爬蟲的技術變成現在從大數據的資料蒐集到資料分析的必備重要手段。
Python 提供了多元的函式庫,有各種爬文必備的功能函式,但...本篇淺談到這,還是保持初心,不介紹技術了,哈哈哈,因為版上很多技術大拿吧,請找他們去~