今天是第十四天,在爬蟲的過程中,獲取數據只是第一步,如何有效地儲存這些數據同樣重要。根據不同需求,我們可以選擇不同的數據儲存方式!``
import csv
data = [['標題', '內容'], ['文章1', '這是文章1的內容']]
with open('output.csv', 'w', newline='', encoding='utf-8') as csvfile:
writer = csv.writer(csvfile)
writer.writerows(data)
import json
data = {'articles': [{'title': '文章1', 'content': '這是文章1的內容'}]}
with open('output.json', 'w', encoding='utf-8') as jsonfile:
json.dump(data, jsonfile, ensure_ascii=False, indent=4)
import sqlite3
conn = sqlite3.connect('articles.db')
c = conn.cursor()
c.execute('''CREATE TABLE IF NOT EXISTS articles (title TEXT, content TEXT)''')
c.execute("INSERT INTO articles VALUES ('文章1', '這是文章1的內容')")
conn.commit()
conn.close()
總結:
選擇適合的數據儲存方式依賴於你的需求。CSV和JSON適合小型項目,SQLite則適合大型數據集。靈活運用這些儲存方式,讓你的爬蟲工作變得更完整!