BigQuery是一個企業級數據倉庫,實現超快的SQL查詢來解決資料處理問題。
通常如果沒有合適的硬件和基礎架構,存儲和查詢海量數據集可能會很耗時且昂貴。BigQuery只需將您的數據移動到BigQuery中,來處理這些工作。可以根據您的業務需求控制對項目和數據的訪問,從而讓其他人能夠查看或查詢您的數據。
也可以通過使用cloud console或經典的Web UI,使用bq命令行工具,或者使用各種客戶端庫(如Java,.NET或Python)調用BigQuery REST API來訪問BigQuery。還有各種第三方工具,使用它們與BigQuery進行交互,如可視化數據或加載數據。
from:https://cloud.google.com/bigquery/docs/introduction
首先進入GCP的big query 建立資料集,再建立資料表
由於輸出有可能為多個json檔,如下
因此我們需要利用 UNION
SELECT * FROM `data.20200924IOTCAREData.result1`
UNION ALL
SELECT * FROM `data.20200924IOTCAREData.result2`
UNION ALL
SELECT * FROM `data.20200924IOTCAREData.result3`
再儲存結果,選擇big query 型式