Spark streaming是以Spark核心API擴充出來的一個模組,他在處理資料串流(streaming)上具有可擴充性、高吞吐量、高容錯性特點。可以從K...
計算檔案行數 count = len(open(filepath,'rU').readlines()) 計算檔案行數(1GB以上的) import linec...
Spark Shell Spark Shell是一個互動介面,提供使用者一個簡單的方式學習Spark API,可以使用Scala或是Python。要如何運作呢?...
今天要介紹 Hadoop Ecosystem 中火力威猛的Data Warehouse工具 - Apache Hive 的安裝教學。 前面有提到Apache H...
介紹 在比較小型的專案,我們可能會透過自動新增流水號的方式新增資料。但在某些特殊的情況下可能需要撰寫 SP 來取得目前該資料表/該連線時新增的流水號,進行處理。...
環境 環境採用三臺實體機器,也可以嘗試使用OpenStack 三個 Instance進行建置: 主機名稱 IP 角色 orderer.exampl...
python decorator與closure雜談之三 前天只是稍微的示範了一下decorator的一個很簡單的使用方式,後來就喇了一堆什麼函數對象阿、pyt...
環境 環境採用 OpenStack 三個 Instance ,也可以嘗試使用三臺實體機器進行建置: 主機名稱 IP Address 角色 Ehte...
介紹 本篇文章圖片已經毀損,請參考同步發部的原文:https://dog0416.blogspot.com/2018/01/databasesql-server...
前言 當服務負載量日益繼夜的增加,對於效能、速度的要求就會越來越高。目前接觸的工作無論對於程式碼、伺服器調教或資料庫設定都非常的嚴謹,在某次 code revi...