對於「半結構化」類型的資料可以存放至NoSQL 資料庫*之中。NoSQL 資料庫常見於需要較快寫入速度的應用場景；半結構化資料本身少了關聯式資料庫那種schem...
今天來細看 DataOps 的原則，盡量會搭配過去實作的經驗一起做說明。 1. 持續地滿足客戶需求 我們最優先的任務是透過及早並持續地交付有價值的分析洞察來滿足...
Amazon Relational Database Service (RDS) 是AWS中為「結構化資料」所準備的關聯式資料庫受管服務(Managed Ser...
資料可以是資產、也可以是負債。 當組織積累了太多無用、甚至錯誤的資料時，資料不但不能提供價值，反而需要花更多力氣與時間去儲存、除錯、整理它，變成了負債。 為了讓...
前面花了不少篇幅在討論資料產品的開發，接下來將花一些篇幅討論資料產品的治理方式。 在做資料產品治理時，有一個很重要的觀念「將資料當作資產」。如果前面介紹過的，資...
第二個「V」要思考的數據問題是多樣性Velocity，資料的格式有千百種，從數不完的副檔名就知道。軟體的蓬勃發展與進步產生出了形形色色的資料，每種資料格式也都各...
如果有疑惑說：資料湖與資料倉儲該如何選擇呢？其實它們並不衝突。因為存放的資料不同，可以做的分析也不同，所以資料湖更像是資料倉儲的延伸，感謝分析技術的進步，現在可...
如同前面所說，資料模型需要運用到實際環境中才會發揮價值 Initiation 延續之前輔助決策的初始條件，如果想使用資料來做自動決策，最重要的一樣是要釐清想解決...
大量的資料勢必可能來自不同資料源，在結構化資料庫的世界常用的就是聯合查詢。那如果我的資料不全都在結構化資料庫呢？介紹到現在許多人一定會想到強大的儲存系統S3，如...
如同前面所說，資料模型需要運用到實際環境中才會發揮價值 Initiation 延續之前模型的初始條件，如果想使用資料來輔助決策，最重要的就是要釐清想解決的問題是...
相較於資料湖，另一個更常見的大數據儲存系統是 — 資料倉儲。和資料湖一樣，資料倉儲也用來儲存巨量資料，但一個明顯的區別是，它是儲存傳統常見的結構化資料，像是表格...
昨天提到了怎麼開發預測模型，但模型絕對不是開發完就好，後續還有非常多的事情得做。 Deployment 模型在部署時真的非常麻煩。 Build 出來的模型往往...
S3無限制的容量與可存儲任何檔案類型的特性，讓它常常出現在近來當紅的應用場景 — 資料湖中。但單單一個很大的儲存服務並不等於資料湖，還需要搭配集中管理與安全存取...
儘管都是模型，但預測模型目的在於預測未來，所以開發方式也會和描述型模型有所差異。 Initiation 起始階段要確認的事情跟之前差不多。 商業意圖是否明確：商...
如同軟體需要硬體，資料分析的基石就是資料儲存。在處理的過程中，資料(data)需要在長期或暫時性的儲存地之間轉換才能順利且有效得被處理。隨著軟硬體科技的進步，各...
特別把描述模型和預測模型分開來寫是因為兩者在開發與驗證階段有不小的差異。(https://ubiq.co/analytics-blog/create-opera...
雲端的分類 第一次點開AWS官網( https://aws.amazon.com/ )或許會有點眼花撩亂，因為在不同的使用場景，對雲端的分類會有不同的用法。維基...
接續上篇 介紹一下一般開發 ETL 的流程。每隻 ETL 都可以看作是獨立的程式，有獨立的開發流程。 Implment 設計原型 跟一般的軟體開發一樣，先從最關...
首先對本篇主題中的一些常見名詞與討論角度做基本的定義；建立共同的出發點以利文章閱讀，並直接破題回答，或許很多人看到標題會有得疑問 : 為什麼要在雲端平台上做數據...
加工資料泛指各種處理資料的行為，這部分要一篇文章寫完真滴難，所以就也只能蜻蜓點水的各介紹一點，讓大家有個整體的概觀。 Initiate 在啟動階段，目標當然是弄...
不同類型的資料產品在其各自專案週期有需要注意的地方，以下我們將說明在處理原始資料時，各階段應該做的事情 Initiate 在初始階段，最重要的就是要了解搜集資料...
(https://www.manmonthly.com.au/news/graphene-helps-enhance-wear-resistance-minin...
資料的最終目的就是替代人力。 (https://qz.com/217199/softbanks-humanoid-robot-will-be-great-for...
前面我們花了好幾篇的篇幅在介紹原始資料、加工資料、資料模型，但這些都還沒有辦法讓資料真正發揮價值，要讓資料發揮價值一定是要將「資料」與「決策」相互結合。我們接下...
大部分的人對於資料開始產生興趣，不外乎就是因為想要預測未來。 (https://www.livebitcoinnews.com/bitcoin-price-an...
這邊指的模型不只是最近很潮的機器學習或深度學習，而是廣泛指透過資料建立用來代表現實的抽象概念（白話來說就是一堆數學）。模型並不是資料本身，但好的模型會能表現資料...
即便是相同原料經過不同師傅的手藝也會呈現不同的味道(昨天吃的游壽司) 當資料經過基本篩檢後，也會根據後續使用的需求將資料聚合（資料聚合就是將資料從細的顆粒度聚合...
稻米就算採收，也無法直接食用，需要經過一系列的加工才能送到消費者的手裡。 (圖片來源：富里鄉農會) 這個流程跟加工資料的流程並沒有什麼太大的差異，常見的資料基...
原始資料可能來自非常多不同的地方，我們可以根據資料產生的方式來加以分類 感應器資料 這邊泛指各種 Sensor 測量得到的資料。Sensor 是普遍用來將資訊資...
前言 每當我們修改工作表或者儀表板的時候，Tableau Desktop 會立即進行運算以顯示出對應的視圖，這樣的即時顯示對我們資料分析來說是非常加分的。但是，...
Krystal
bryanyang0528
wrxue
iThome鐵人賽
看影片追技術