iT邦幫忙

鐵人檔案

2018 iT 邦幫忙鐵人賽
回列表
Software Development

[行銷也要自動化] 用 Python Selenium + NodeJS + Amazon EC2 打造簡易關鍵字搜尋報表應用! 系列

用30天(篇)一步步拆解如何實作出,輸入特定關鍵字後一鍵產生流量及關鍵字建議報表的SaaS工具!
不僅呈現如何在local端deploy,也會介紹怎麼部署到AWS EC2主機上。

綱要:(可能會有微調)
Week 1:運作環境-Express、RESTful
Week 2:資料抓取與整理-Selenium、Google Trends API、BeautifulSoup
Week 3:軟體構成-Python-shell
Week 4:部署與其他問題-xvfb等

P.S. 由於跨到NodeJS、Python、EC2等,因此報到Software Development這個組別

參賽天數 10 天 | 共 14 篇文章 | 42 人訂閱 訂閱系列文 RSS系列文
DAY 1

Day0:KeywordSearch 1.0 教學文概覽 + 核心功能(Selenium)前情提要

嗨大家好!我是阿寶,大概半年前開始碰前後端和Python,同時間相對擅長數位行銷、網站分析、社群經營等。最近因為被重要的老師啟蒙,而有了把行銷領域重複性的工作,...

2017-12-16 ‧ 由 Kyle 分享
DAY 2

Day1:NodeJS 基本安裝、環境設定、淺談Connect|KeywordSearch 1.0 爬蟲關鍵字報表工具

什麼是KeywordSearch 1.0 爬蟲關鍵字報表工具?是作者近期兩周實作出來的小專案,結合不同關鍵字搜尋工具的api及部分爬蟲,讓使用者可以一鍵拿到搜...

2017-12-17 ‧ 由 Kyle 分享
DAY 3

Day2:NodeJS 與 Express 4、route設定|KeywordSearch 1.0 爬蟲關鍵字報表工具

什麼是KeywordSearch 1.0 爬蟲關鍵字報表工具?是作者近期兩周實作出來的小專案,把不同關鍵字搜尋工具的api及部分爬蟲寫在nodejs App當...

2017-12-18 ‧ 由 Kyle 分享
DAY 4

Day3:關於middleware的小示範|KeywordSearch 1.0 爬蟲關鍵字報表工具

什麼是KeywordSearch 1.0 爬蟲關鍵字報表工具?是作者近期兩周實作出來的小專案,把不同關鍵字搜尋工具的api及部分爬蟲寫在nodejs App當...

2017-12-19 ‧ 由 Kyle 分享
DAY 5

Day4:NodeJS req.query() 應用|KeywordSearch 1.0 爬蟲關鍵字報表工具

什麼是KeywordSearch 1.0 爬蟲關鍵字報表工具?是作者近期兩周實作出來的小專案,把不同關鍵字搜尋工具的api及部分爬蟲寫在nodejs App當...

2017-12-20 ‧ 由 Kyle 分享
DAY 6

Day5:NodeJS .ejs 模板載入json資料|KeywordSearch 1.0 爬蟲關鍵字報表工具

之前我們是直接在index.js把資料吐進.ejs模板中;今天來試試如果是json資料怎麼做。 如果我們有大量的商品資訊,每樣商品都有品名、價位、描述等,這時我...

2017-12-21 ‧ 由 Kyle 分享
DAY 7

Day6:安裝 Python Jupyter Notebook 及了解python scrapy|KeywordSearch 1.0 爬蟲關鍵字報表工具

什麼是KeywordSearch 1.0 爬蟲關鍵字報表工具?是作者近期兩周實作出來的小專案,把不同關鍵字搜尋工具的api及部分爬蟲寫在nodejs App當...

2017-12-22 ‧ 由 Kyle 分享
DAY 8

Day7: 實作Python Scrapy 20行內爬取Y Combinator Blog所有文章|Kearch 1.0 爬蟲關鍵字報表工具

好,今天拿Y Combinator Blog的文章來小試爬蟲,我保證你會很有成就感 XD scrapy爬蟲開始 啟動虛擬環境、安裝確認 首先確保你有啟動剛剛創...

2017-12-23 ‧ 由 Kyle 分享
DAY 9

達標好文 Day8:Python requests + bs4 實作模擬登入網站並爬取資料|Kearch 1.0 爬蟲關鍵字報表工具

上一篇我們用scrapy來爬Y Combinator Blog,它的結構不算太複雜,而且無須登入。但如果今天需要爬取需要登入的網站資料該怎麼做呢?我們可以用py...

2017-12-24 ‧ 由 Kyle 分享
DAY 10

Day9:ajax動態載入網頁爬蟲|Kearch 1.0 爬蟲關鍵字報表工具

爬蟲系列文章整理: Python scrapy 爬取 Y combinator BlogPython requests 模擬網站登入爬蟲 今天示範如何爬取...

2017-12-25 ‧ 由 Kyle 分享