iT邦幫忙

2019 iT 邦幫忙鐵人賽

DAY 24
0
AI & Data

量化投資與機器學習研究系列 第 24

24.爬蟲環境建置

  • 分享至 

  • xImage
  •  

昨天分析的那檔股票今天漲停了,還好開盤就回補2/3,真是好運,躲過大賠但賠錢還是不爽,空太大了

https://ithelp.ithome.com.tw/upload/images/20181107/20103419saTJrzfeSm.png

scrapyd
設定檔

[scrapyd]
eggs_dir    = eggs
logs_dir    = logs
items_dir   =
jobs_to_keep = 5
dbs_dir     = dbs
max_proc    = 0                          
max_proc_per_cpu = 4
finished_to_keep = 100
poll_interval = 5.0
bind_address = 127.0.0.1
http_port   = 6800
debug       = off
runner      = scrapyd.runner
application = scrapyd.app.application
launcher    = scrapyd.launcher.Launcher
webroot     = scrapyd.website.Root

保持紀錄數5,當有很多爬蟲每天都有很多紀錄,為了避免錯誤的log不見可以調到100
jobs_to_keep = 100
根據cpu數決定決定可執行的爬蟲,如果是6顆cpu就是6*4=24 同時可以啟動的爬蟲
max_proc_per_cpu =4


上一篇
23.股票要不要繼續凹
下一篇
25.研究紀錄
系列文
量化投資與機器學習研究30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言