資料模型 (Data Model) 是所有軟體開發中最重要的環節，每個資料表示層級要如何向更低層級表達資料項目？ 看起來有點饒舌，資料表示層級舉例來看： 應...
此系列是 資料工程師修煉之路 的後半部份，一樣是 Design Data Intensive Applications 的摘要 + 經驗分享，所有的圖片都是...
介紹一下一般開發 ETL 的流程。每隻 ETL 都可以看作是獨立的程式，有獨立的開發流程。但是不同的 ETL 程式又可以使用類似的系統或架構來幫助開發和管理。...
接續 Day 8 SSTables 延續前一天講的 log-structure，其中我們在意的是相同 key 的資料順序要對，如此才能知道哪筆資料是新的嘛，...
接續 Day 5 Graph Data Model 初探 最後要來談談 Graph Data Model，若你軟體的資料關係是大部份一對多，使用 Docum...
昨天談到 write skew 和 phantoms ，是 2 種特別難重現的 競爭條件 (race condition) 情況，也就代表無法針對這些情況做測試...
接續 Day 15 Avro 最後一個要來談的 binary encoding 方式是 Apache Avro ，閞始於 Hadoop 底下的子專案，它很明...
接續 Day 13 JSON, XML, CSV 和 Binary Variants (二進制變體) JSON, XML, CSV 都是很廣泛為人知、多人使...
B-Tree 再來要介紹一個非常常用的 index 結構 B-Tree 和它會用到 storage engine (儲存引擎) page-oriented ，...
Transaction Processing or Analytics? 每一個資料庫都能許多種不同型態的資料，如 blog 貼文、遊戲資料、聯絡人資訊等等，應...
接續 Day 4 內容 Relational vs. Document database 這裡有許多可以比較的點，像容錯能力和如何處理並行執行緒，但最主要的...
接續 Day 11 Column-Oriented Storage 想像一下如果你的 fact table 有上兆筆資料，資料大小是 PB，dimensio...
模型當然也有純理論的介紹方法，但實務上是很難單談模型的，今天這篇會介紹過去常用、也滿泛用的不需要使用機器模型的分析手法以及對應的商業需求。 人口描述 (http...
前面幾天我們談了 Data Model，為你的數據系統挑個合適 Data Model 後，接下來就要談談怎麼儲存與檢索了，資料庫 (database) 就做這...
「懶惰是進步的原動力」 科技的進步降低了許多事情的門檻，例如過去要會換牌檔才能開車，現在基本上就自排；過去要會打字才能用電腦傳訊息，現在除了打字還可以語音傳圖片...
其實今天的很多系統都是 數據密集型 應用系統，也就是 數據量大、複雜、且速度快， 有別 10 幾年前的 計算密集型，CPU 時脈才是系統的瓶頸。 現在的數據密集...
接續 Day 2 內容 Scalable (可擴充的) 數據系統現在 Reliable 不代表未來也是 Reliable，系統會進步， 這裡討論的 Scal...
Day 21 ~ Day 26 我們討論了如何將資料分散到不同節點的 Replication，對那些大型資料集或超大的查詢吞吐量來說，只用 Replicati...
接續 Day 6 Triple-Stores and SPARQL 最後要談的就是 Triple-store Graph Model，跟之前講的 Prope...
前言 1. What is Pyspark ? PySpark 顧名思義,也就是Python 的一個Spark Library，主要是利用Python語法結合S...
續 Day 6。 強列建議閱讀本文之前要先去看 Day 4 - Snapshot Isolation。 3. 序列化快照隔離 SSI (Serializab...
接續 Day 14 Thrift and Protocol Buffers 再來要講的 binary encoding 工具就是 Apache Thrift...
接續 Day 16 Writer's schema and Reader's schema 這裡 Avro 把 encoding 跟 decoding 動作...
Rebalancing Partitions 每經過一段時間，資料庫可能會因為以下幾件事情改變： 為了想提高查詢的吞吐量，所以你加了 CPU。 資料的大小增加...
續 Day 3 Snapshot Isolation 和 Repeatable read 先來看個 read committed 等級的隔離下會發生的靈異現...
這幾天講的主軸是 Replication (數據複製)，如果你的資料不會變動，做到 Replication 很簡單，只要把資料複製到別的節點就好了，搞定！ 但資...
終於撐完三十天啦啊啊啊啊！！！沒想到自己有一天也能完成這個壯舉（拭淚），真的太敬佩各路大神以及前輩了Orz，也非常感謝各位讀者的支持，不管是幫忙點擊、按讚、分享...
即便是相同原料經過不同師傅的手藝也會呈現不同的味道(昨天吃的游壽司) 當資料經過基本篩檢後，也會根據後續使用的需求將資料聚合（資料聚合就是將資料從細的顆粒度聚合...
前面花了不少篇幅在討論資料產品的開發，接下來將花一些篇幅討論資料產品的治理方式。 在做資料產品治理時，有一個很重要的觀念「將資料當作資產」。如果前面介紹過的，資...
前言 如果兩個 transaction 沒有接觸到相同的資料，則它們可以很愉快的 並發 (concurrent) 執行，因為他們彼此不依賴。 並發的問題只會發生...
tshine73
bryanyang0528
vivi_vey
iThome鐵人賽
看影片追技術