iT邦幫忙

1

Python 爬蟲寫入文字檔案數量不對

各位高手大大們好:

小弟是python新手,最近完成了第一個自己爬蟲程式,目的是爬批踢踢股票版的標題再存入txt檔中。詳細程式碼如下。目前遇到一個問題是:「寫入txt檔的標題筆數太少,只有20幾筆資料」檢查過後也不知道是哪裡出了問題,希望有朋友可以指點我一點方向QQ

小弟第一次發文,如有任何錯誤之處還請海涵!

-- coding: utf-8 --

import requests
from bs4 import BeautifulSoup
import time

def webwebweb(URL):
my_headers = {'cookie': 'over18=1;'}
response=requests.get(URL,headers=my_headers)
soup=BeautifulSoup(response.text,"html.parser")
titles=soup.find_all("div", class_="title")
file = open("stockData.txt", mode="w")
for title in titles:
file.write(title.text.strip()+" \n ")
print(title.text.strip())
file.close()

start = 4993
number = 20
end = start-number

for i in range(start,end,-1):
link= "https://www.ptt.cc/bbs/Stock/index"+str(i)+".html"
webwebweb(link)
time.sleep(0.1)

https://ithelp.ithome.com.tw/upload/images/20210301/20135547aDpaB4zWls.png

1 個回答

4
海綿寶寶
iT邦大神 1 級 ‧ 2021-03-01 08:19:03
file = open("stockData.txt", mode="w")

改成

file = open("stockData.txt", mode="a")

試試看

z655062 iT邦新手 5 級 ‧ 2021-03-05 09:28:07 檢舉

補充:
w 會覆蓋文件
a 則會從最後一行繼續新增

我要發表回答

立即登入回答