沒有人能一次做好所有的事情,也不可能有一套系統收盡所有資料。既然如此,如何適當且適時的抓取外部資料做為己用,是一件很重要的事情。
近年來除許多資料以 OPEN DATA形式提供公眾使用;編程也紛紛將程式打散,做得更細更專,推行『微服務』化。今天篇章先不論怎麼寫出服務,而先探討如何調取別人的服務。
一般外部資料提供有透過 API取用或實體檔案抓取,實體檔案可透過 wget 取回後用前述章節的channel解讀。API的部分,通常在回傳值還可區分為CSV / XML / JSON等等格式。今天範例取用日常生活可能會用到的『中油油價表』作為範例:
參考網址 https://data.gov.tw/dataset/6339
從範例中可得知,調用後會以 XML 格式回傳,因此依循Genero 方式拆解。所以為了閱讀方便,程式拆成兩段
Genero FGL要串接外部現成已經提供的服務並不困難,我們這次的目標是取回下列格式資料
從最簡單的調用範例來解讀:
PUBLIC FUNCTION FetchCPCPrice()
DEFINE ok BOOLEAN
DEFINE req com.HttpRequest #取用WebService主要物件
DEFINE resp com.HttpResponse #分析回傳資料使用
DEFINE resptype STRING
DEFINE doc xml.DomDocument #抓出的XML Document
DEFINE node xml.DomNode #在Genero中基本轉為DomNode可用的method較多
DEFINE str STRING
DEFINE ind INTEGER
DEFINE baseURL STRING
#中油牌價服務路徑
LET baseURL = "https://vipmember.tmtd.cpc.com.tw/opendata/",
"ListPriceWebService.asmx/getCPCMainProdListPrice_XML"
LET req = com.HttpRequest.Create(baseURL) #準備連結
CALL req.setMethod("GET") #使用 GET 方法 (還有POST.DELETE..等)
CALL req.doRequest() #做
LET resp = req.getResponse() #將回應寫入Response物件, 等待分析
IF resp.getStatusCode()==200 THEN #狀態碼檢查
LET resptype = resp.getHeader("Content-Type") #準備確認一下形式是否正確
IF resptype.getIndexOf("/xml",1) THEN #檢查是否為 XML
LET doc = resp.getXmlResponse() #使用XML獲取資料
LET node = doc.getDocumentElement() #轉換為Genero xml.Document格式
END IF
LET ok = TRUE
ELSE
LET ok = FALSE
END IF
RETURN ok, str, node
END FUNCTION
Genero為了不讓套件過大,將回傳分析的功能(method)放進了HTTPResponse,所以在取用 Web Service之後,再調取Response處理就好。
分類:使用前,在程式最前端需 IMPORT com
功能:創建連結物件,並依照提供服務端的要求,可對本次發起的服務做好行前準備。如告知使用方法、放入參數、設定封包表頭、設定TIMEOUT時間、與Cookie, proxy 等。接著就可依照不同的方式,做 Request(一般) / FileRquest / DataRequest / XmlRequest 等等。
Method List
特別注意:
分類:使用前,在程式最前端需 IMPORT com
功能:完成 WebService調用後,取回的狀態與成果分析使用
Method List
特別注意:
先閱讀一下範例
IMPORT xml
IMPORT com
###需使用到的extension包###
MAIN
DEFINE str,tagname,value STRING
DEFINE ok,i,cnt INTEGER
DEFINE r,every,child xml.DomNode
DEFINE n xml.DomNodeList
CALL FetchCPCPrice() RETURNING ok, str, r #前段WEB Service調用回傳
IF ok THEN
# 預期要處理的格式如下:
#<Table>
# <型別名稱>汽柴油零售</型別名稱>
# <產品名稱>92無鉛汽油</產品名稱>
# <參考牌價>28.2</參考牌價>
#</Table> #思路: 找出Table節點, 再往下找出型別,產品,牌價等
LET n = r.selectByXPath("Table",NULL) #利用SELECT BY X(ML) PATH找符合條件的清單
LET cnt = n.getCount() #確認符合數
FOR i=1 TO cnt
LET every = n.getItem(i) #取用個別的下層結構
LET child = every.getFirstChild() #往下一層進入
WHILE (child IS NOT NULL)
LET tagname = child.getNodeName() #只處理對的子項目
IF tagname = "型別名稱" OR tagname = "產品名稱" OR tagname = "參考牌價" THEN
LET value = child.toString()
LET value = value.subString(value.getIndexOf(">",1)+1,value.getIndexOf("</",1)-1)
#無法處理中文TAG,所以將 TAGNAME 與 VALUE 剝離出來
IF tagname = "型別名稱" THEN #需求項目分析 (parser)
IF value <> "汽柴油零售" THEN
LET child = child.getNextSibling() #此處捲回WHILE,先取下一個,避免重工
CONTINUE FOR
END IF
END IF
DISPLAY tagname,":" ,value.trim() #呈現需求項目
END IF
LET child = child.getNextSibling() #取用下一個符合的
END WHILE
END FOR
END IF
END MAIN
這邊有一個狀況需要特別說明
**Genero在現行版本無法處理非英語文字的 TAG,要轉為 STRING **
**Genero在現行版本無法處理非英語文字的 TAG,要轉為 STRING **
這也是在上方案例中,『LET value = child.toString()』主要的用意。轉 TAG 為STRING來進行處理,
撥離 TAG 符號,判斷是否合規
分類:使用前,在程式最前端需 IMPORT xml
功能:處理任何類型的XML文檔操作
Method List
特別注意:
分類:使用前,在程式最前端需 IMPORT xml
功能:一個可以承接 DomNode/DomDocument 查找出來節點(selectByXPath)存放的物件容器,方法很簡單:有幾個?是誰?
[Method List]
(https://4js.com/online_documentation/fjs-fgl-manual-html/#fgl-topics/c_gws_XmlDomNodeList_methods.html)
透過 XML 物件協助,就可以將取回的資料做好分析,在依據不同的需求進行處理即可。
最終程式運行結果
型別名稱:汽柴油零售
產品名稱:98無鉛汽油
參考牌價:31.6
型別名稱:汽柴油零售
產品名稱:95無鉛汽油
參考牌價:29.6
型別名稱:汽柴油零售
產品名稱:92無鉛汽油
參考牌價:28.1
型別名稱:汽柴油零售
產品名稱:酒精汽油
參考牌價:29.6
FGL對於外部 WEB 資料的處理,從 1.00版的一片荒漠,到2.00版的支援SOAP,3.00版支援XML/JSON後,終於在 3.20版逐漸的補滿補齊。後續的 Genero平台,將不再自外於網際網路,而可以取之於網路用之於網路。我們在後續的篇章中介紹『創造 FGL的微服務』
感謝hjwang65, 受用良多, 範例的網址現在已更新為
http://vipmbr.cpc.com.tw/CPCSTN/ListPriceWebService.asmx/getCPCMainProdListPrice_XML
在測試過程中, 我發現URL若給定為"https", 則會在req.doRequest()報錯, status=-15553
sqlca.sqlcode = 0
sqlca.sqlerrm = "Configuration needed to perform HTTPS connection."
sqlca.sqlerrp = (null)
sqlca.sqlerrd = {0, 0, 0, 0, 0, 0}
sqlca.sqlawarn = ""
但將URL改回http就可以順利request/response
我想請教hjwang65, 這是來自client(request)解析的問題, 還是server(response)的問題?
再請不吝指導, 謝謝!