各位高手大大們好:
小弟是python新手,最近完成了第一個自己爬蟲程式,目的是爬批踢踢股票版的標題再存入txt檔中。詳細程式碼如下。目前遇到一個問題是:「寫入txt檔的標題筆數太少,只有20幾筆資料」檢查過後也不知道是哪裡出了問題,希望有朋友可以指點我一點方向QQ
小弟第一次發文,如有任何錯誤之處還請海涵!
import requests
from bs4 import BeautifulSoup
import time
def webwebweb(URL):
my_headers = {'cookie': 'over18=1;'}
response=requests.get(URL,headers=my_headers)
soup=BeautifulSoup(response.text,"html.parser")
titles=soup.find_all("div", class_="title")
file = open("stockData.txt", mode="w")
for title in titles:
file.write(title.text.strip()+" \n ")
print(title.text.strip())
file.close()
start = 4993
number = 20
end = start-number
for i in range(start,end,-1):
link= "https://www.ptt.cc/bbs/Stock/index"+str(i)+".html"
webwebweb(link)
time.sleep(0.1)
file = open("stockData.txt", mode="w")
改成
file = open("stockData.txt", mode="a")
試試看