1_get_weather_htm_data.py

import datetime as dt
import requests,time,pathlib,os,re

#######################################################################
#自訂函式區
def get_url_filename(arg):
	return re.sub(r'^.*?station=(.*?)&stname=&datepicker=(.*?)$',r'\2_\1',arg)

def log(arg):
	with open('log\\event.log','a',encoding='utf-8') as f:
		f.writelines(arg+'\n')
	f.close()

#######################################################################

base_dir = os.path.dirname(os.path.realpath(__file__))
#判斷log資料夾是否存在，若不存在則建立log資料夾
pathlib.Path(base_dir+"\\log\\").mkdir(parents=True, exist_ok=True)

with open('log\\event.log','w',encoding='utf-8') as f:
	pass #這裡用意是把event.log內容清空
f.close()

location_dict={'466910':'鞍部','466920':'臺北','466930':'竹子湖','C0A980':'社子','C0A9A0':'大直','C0A9B0':'石牌','C0A9C0':'天母','C0A9E0':'士林','C0A9F0':'內湖','C0AC40':'大屯山','C0AC70':'信義','C0AC80':'文山','C0AH40':'平等','C0AH70':'松山','C1AC50':'關渡','C1A730':'公館','C0A9G0':'南港','C0A990':'大崙尾山'}
#print(location_dict.keys()) 測試列出location_dict所有key:466910,466920...

startdate = dt.datetime(2019, 8,1)
enddate = dt.datetime(2019, 8,1)
totaldate = (enddate - startdate).days + 1

data_folder='HTML_DATA'
#判斷HTML_DATA資料夾是否存在，若不存在則建立HTML_DATA資料夾
pathlib.Path(data_folder).mkdir(parents=True, exist_ok=True)

#######################################################################
#下載全部html資料到HTML_DATA資料夾
for daynumber in range(totaldate):
	datestring = str((startdate + dt.timedelta(days = daynumber)).date())
	print(datestring)
	#取得單日_全部地點.htm
	for i in location_dict.keys():
		url="https://e-service.cwb.gov.tw/HistoryDataQuery/DayDataController.do?command=viewMain&station=%s&stname=&datepicker=%s" %(i.split("_")[0],datestring)
		#print(url)
		try:
			r=requests.get(url)
			print("Download: "+datestring+"_"+i+".htm")
			with open(data_folder+"\\"+datestring+"_"+i+".htm",'w',encoding='utf-8') as f:
				f.write(r.text)
			f.close()
		except:
			print("Error: "+datestring+"_"+i+".htm")
			log(url)
		finally:
			time.sleep(5)
print("1. HTML資料下載完畢.")

#######################################################################
#檢查event.log是否為空或有內容，有則表示有資料下載失敗需要重新下載
log_file = (open("log\\event.log", "r"))
download_error_url = log_file.read().split('\n')
log_file.close()
#若download_error_url陣列長度為1時表示是沒有錯誤(只有一列空白行)
#大於1表示有下載錯誤的記錄
if (len(download_error_url))>1:
	with open('log\\event.log','w',encoding='utf-8') as f:
		pass #這裡用意是把event.log內容清空
	f.close()
	for i in download_error_url:
		if i!='':
			try:
				r=requests.get(i)
				print("Download: "+get_url_filename(i)+".htm")
				with open(data_folder+"\\"+get_url_filename(i)+".htm",'w',encoding='utf-8') as f:
					f.write(r.text)
				f.close()
			except:
				print("Error: "+get_url_filename(i)+".htm")
				log(i)
			finally:
				time.sleep(5)
	print("2. 下載錯誤HTML資料補下載完畢.")
else:
	print("2. 檢查完畢，無下載錯誤HTML資料.")

2_read_htm_data_and_save_csv.py

import datetime as dt
import re

#######################################################################
#自訂函式區

def parse_html(arg):
	with open(arg,'r',encoding='utf-8') as f:
		content=f.read()
	f.close()
	content=content.replace('    ','').replace('  ','').replace('\t','').replace('\n','').replace(' ','')
	hours_data=re.findall('<tr><td nowrap>([^<]+)</td><td>([^<]+)</td><td>([^<]+)</td><td>([^<]+)</td><td>([^<]+)</td><td>([^<]+)</td><td>([^<]+)</td><td>([^<]+)</td><td>([^<]+)</td><td>([^<]+)</td><td>([^<]+)</td><td>([^<]+)</td><td>([^<]+)</td><td>([^<]+)</td><td>([^<]+)</td><td>([^<]+)</td><td>([^<]+)</td></tr>', content)
	return hours_data

#######################################################################

location_dict={'466910':'鞍部','466920':'臺北','466930':'竹子湖','C0A980':'社子','C0A9A0':'大直','C0A9B0':'石牌','C0A9C0':'天母','C0A9E0':'士林','C0A9F0':'內湖','C0AC40':'大屯山','C0AC70':'信義','C0AC80':'文山','C0AH40':'平等','C0AH70':'松山','C1AC50':'關渡','C1A730':'公館','C0A9G0':'南港','C0A990':'大崙尾山'}
#print(location_dict.keys()) 測試列出location_dict所有key:466910,466920...

startdate = dt.datetime(2019, 8,1)
enddate = dt.datetime(2019, 8,1)
totaldate = (enddate - startdate).days + 1

data_folder='HTML_DATA'

#######################################################################
#讀取HTML_DATA資料夾內全部html文件，解析HTML源碼後存為weather.csv

with open('weather.csv','w',encoding='utf-8') as f:
	f.writelines('Station,ObsTime,StnPres,SeaPres,Temperature,Td dew point,RH,WS,WD,WSGust,WDGust,Precp,PrecpHour,SunShine,GloblRad,Visb,UVI,Cloud Amount\n')
	for daynumber in range(totaldate):
		datestring = str((startdate + dt.timedelta(days = daynumber)).date())
		#print(datestring)
		#取得單日_全部地點.htm
		for i in location_dict.keys():
			print(datestring+str(i))
			hours_arr=parse_html(data_folder+"\\"+datestring+"_"+i+".htm")
			for j in hours_arr:
				print("%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s\n"%(i,datestring+' '+(j[0] if j[0]!='24' else '00')+':00:00',j[1],j[2],j[3],j[4],j[5],j[6],j[7],j[8],j[9],j[10],j[11],j[12],j[13],j[14],j[15],j[16]))
				f.writelines("%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s\n"%(i,datestring+' '+(j[0] if j[0]!='24' else '00')+':00:00',j[1],j[2],j[3],j[4],j[5],j[6],j[7],j[8],j[9],j[10],j[11],j[12],j[13],j[14],j[15],j[16]))
f.close()

2_read_htm_data_and_save_csv.py 裡面的自訂函式
def parse_html(arg)
傳入值arg就是從htm檔取得的原始碼，裡面可以看到我用 re.findall(...) 取得符合

<tr><td nowrap>...</td>......</tr>

的全部結果，傳回值是一個陣列:
hours_arr=parse_html(...)
這裡的hours_arr(陣列)就可以用for...in...取得全部的陣列內容，而且是已經把htm裡面不需要的部份剔除掉的內容。
關於re怎麼寫能取到你要的內容，那個牽涉到html源碼長怎樣還有你對RegularExpression的掌握度，這邊就先不說明了。

感謝你的熱心回復 , 看 99 乘法或是比數字大小的程式就有想法 , 但下面就沒想法 , 只能註解看看是否能搞懂 , 但還是不太懂

import os # 引入作業系統
htmlFiles = [];  # 變數 htmlfile = d:\weather\*.htm
for file in os.listdir(): # 迴圈 file in d:\weather\*.htm
  htmlFiles.append(file) if file.endswith('.htm') else
  # 不知怎麼解釋
  None
for file in htmlFiles:
#迴圈 file in htmlfiles
  print(file)
  # do something

kevin543

import os # 引入 os 這個 lib
htmlFiles = [];  # 預計用來裝 .htm 們的 list
for file in os.listdir(): # 
  # os.listdir() 可指定 path, 未指定則為當前 folder
  # 會回傳裝有所有檔案的 lsit
  htmlFiles.append(file) if file.endswith('.htm') else
  None
  # 三元運算 等同於
  # if file.endswith('.htm'): # 如果 file 是 .htm 結尾
  #   htmlFiles.append(file) # 加到 htmlFiles
  # else: # 不然
  #   None # 不做任何事
for file in htmlFiles:
#迴圈 file in htmlfiles
  print(file)
  # do something

謝謝你幫我註解 , 我把了解的內容再寫出來如下

import os # 引入 os 這個 lib
htmlFiles = [];  # 預計用來裝 .htm 們的 list

是指要轉檔 htm 的目錄嗎 ?

for file in os.listdir(): # 
  # os.listdir() 可指定 path, 未指定則為當前 folder
  # 會回傳裝有所有檔案的 lsit

  也是要轉檔 htm 的目錄嗎 ?

  htmlFiles.append(file) if file.endswith('.htm') else
  None
  
  轉檔 htm 的目錄內的檔案一直增加類似 a+=1 , 判斷是否到最尾端檔案否則不動作
  
  # 三元運算 等同於
  # if file.endswith('.htm'): # 如果 file 是 .htm 結尾
  #   htmlFiles.append(file) # 加到 htmlFiles
  # else: # 不然
  #   None # 不做任何事
for file in htmlFiles: 
    
    迴圈在 d:\weather 內搜尋 *.htm
    
    
#迴圈 file in htmlfiles
  print(file)
  
  轉出 xls 檔案
  
  # do something

kevin543

是指要轉檔 htm 的目錄嗎 ?

不是..

os.listdir()會回傳所有的檔案名稱

htmlFiles 是預計用來裝後面篩選完後

檔名結尾為 .htm 的檔案名稱

也是要轉檔 htm 的目錄嗎 ?

同上

轉檔 htm 的目錄內的檔案一直增加類似 a+=1 , 判斷是否到最尾端檔案否則不動作

file.endswith('.htm')

是判斷 file(檔案名稱)是否結尾為 .htm

迴圈在 d:\weather 內搜尋 *.htm

找檔案在上面已經結束了

這個迴圈是把過濾完成的檔案們

也就是 htmlfiles

裡面裝的都是 .htm 的檔案

一個一個抓出來看

這些 code並沒有什麼轉不轉檔的東西

基本的上你不知道

os.listdir()

file.endswith('.htm')

htmlFiles

分別會有什麼功用

print() 出來就知道了

我還以為有轉檔 , 只是要抓出來看 , 是看看是否都是 htm 檔案嗎 ? 執行語法錯誤 , 沒看出來哪裡錯

runfile('D:/pythonsample/pythonsample/10.py', wdir='D:/pythonsample/pythonsample')
Traceback (most recent call last):

  File "D:\Anaconda3\lib\site-packages\IPython\core\interactiveshell.py", line 2961, in run_code
    exec(code_obj, self.user_global_ns, self.user_ns)

  File "<ipython-input-36-0ba421cdb323>", line 1, in <module>
    runfile('D:/pythonsample/pythonsample/10.py', wdir='D:/pythonsample/pythonsample')

  File "D:\Anaconda3\lib\site-packages\spyder_kernels\customize\spydercustomize.py", line 668, in runfile
    execfile(filename, namespace)

  File "D:\Anaconda3\lib\site-packages\spyder_kernels\customize\spydercustomize.py", line 108, in execfile
    exec(compile(f.read(), filename, 'exec'), namespace)

  File "D:/pythonsample/pythonsample/10.py", line 13
    htmlFiles.append(file) if file.endswith('.htm') else
                                                        ^
SyntaxError: invalid syntax

  File "D:/pythonsample/pythonsample/10.py", line 13
    htmlFiles.append(file) if file.endswith('.htm') else
                                                        ^
SyntaxError: invalid syntax

SyntaxError: invalid syntax

是

語法錯誤

他已經指出來哪裡有問題了

建議你在看一下我的 code

然後可以的話

挑個有基本 debug 功能的 editor

e.g.

vs code + python plugin

有這種功能的 editor

這種錯誤基本早已被下畫紅線

是 else 後面沒有 code ?

你是說用這個 , 執行是按 ctrl+shift+B 嗎 ?

我是用這個