iT邦幫忙

1

冠狀病毒數據提取和可視化

自從韓國於2020年1月20日確認首例冠狀病毒病例以來,截至3月12日,感染者總數已達到7,869人。儘管這場大流行病顯示出該國已被控制,但仍不確定我們完全擊敗冠狀病毒需要多長時間。

在這一點上,我們認為有必要為疫情提供更具互動性的可視化地圖。本文的目的是向您展示如何利用Web抓取和可視化工具來實現數據分析工作的一些基本步驟。

本文包括兩個部分:我們首先使用Octoparse 提取Web數據,然後使用Finereport可視化數據。如果您不熟悉Web抓取工具,請隨時單擊此視頻以了解如何從頭開始提取數據。如果您對編碼一無所知,請放心,我們使本文變得超級容易理解。

第一部分:使用Octoparse進行數據提取
首先,我們需要從CDC抓取有關韓國的最新數據。隨意使用搜尋器文件進行練習。

數據提取包括3個步驟:

第1步:通過輸入URL構建抓取任務
步驟2:單擊以提取Web數據
步驟3:執行抓取任務
聽起來很容易吧?好吧,這很容易!

首先,在單擊“高級模式”後將Web URL粘貼到框中。然後單擊“保存URL”繼續。它將網頁加載到內置瀏覽器中,供您單擊和提取。

接下來,單擊任何表格單元格,然後按照“操作技巧”面板上顯示的指南進行操作。選擇“選擇所有子元素”,然後單擊“選擇所有”。恭喜你!我們只是成功創建了一個刮板。現在,我們應該通過單擊“提取循環中的數據”來確認該步驟。

最後但並非最不重要的一點,單擊以執行刮板。

完成獲取數據後,我們可以導出為excel格式並使用它來創建地圖可視化。我了解如何隨時間推移輕鬆地過時數據,尤其是對時間敏感的數據。此時,您可以利用其調度程序將任務置於自動駕駛儀上。

https://www.youtube.com/watch?v=EaYfFYZ4f3I&t=
数据可视化

第二部分:使用Finereport進行數據可視化

首先,從菜單欄中單擊“加號”按鈕以選擇並導入我們剛剛收集的文件。您可以從“預覽”窗口檢查其準確性。這是許多人可能會忽略的必要步驟。我們正在處理地理位置和相應的數據。如果FineReport無法將尺寸作為地理信息讀取,它將無法創建相應的地圖。我們的數據看起來不錯。現在獲取地圖。

要添加地圖圖層,請單擊“編輯”,然後選擇“韓國”。繁榮!您的地圖出現!而且看起來很棒!現在,我們需要在地圖上獲取點數,以證明我們收集的每個地理位置的嚴重性級別。為此,請單擊“數據”以將案例編號與每個地理位置聯繫起來。

我們仍然需要做一些最後的調整才能使其漂亮。更改顏色並編輯格式。然後刷新屏幕。

現在,我們創建一個可視化地圖以成功顯示爆發。除此之外,我還創建數據表,氣泡圖,折線圖等。而我所做的就是將它們組合成一個儀表板。

最好的部分是,我們可以通過API導入數據來使此儀表板生效,而使用Octoparse可以實現這一點。


1 則留言

我要留言

立即登入留言