Pandas 的優勢在於可以處理大型數據，方便使用者觀察和分析，但處理數據前需要先載入資料，因此，本文將說明如何透過檔案路徑讀取外部資料，內容包含： 介紹...
在對於外部的連結之後，我們再細部介紹一下 Operator 的使用，其實在 Operator 層級也可以有不同的使用方法。Operator 本身有多種種類，其作...
在前幾天的內容當中，我們陸續介紹了 Data pipeline、Data pipeline 的種類、資料處理，資料品質等主題，相信大家對於 Data pipel...
INFORMS（國際運籌學和管理科學協會）專業數據分析認證 引用自Certified Analytics Professional 業務理解（Busin...
Tableau has the fastest growth and most widespread acceptance among the differen...
在上一篇當中我們常常談到資料的品質，因為在資料處理的其中一個目的就是我們要提升資料的品質。那我們要如何判斷資料的品質呢？這篇想要來聊聊資料品質，幫助大家在實作...
經過前幾天的介紹，相信大家應該都有一個基本的概念輪廓，知道如何透過 Airflow DAG 建立所需要的 Data pipeline了。今天來談談 DAG 如何...
Every day, customer success teams interact with tens of thousands of customers....
安裝完環境之後，想必在讀本系列文章的你，對於開發 Data pipeline 必定是躍躍欲試！如果對 Airflow 有點熟悉的朋友，這幾天可以簡單瀏覽過或是當...
學習撰寫程式時，常會遇到資料結構（Data Structure）這個詞彙，指的是如何用最有利的型態儲存或組織資料，並將其存在記憶體當中，以便電腦更有效率的使...
記得在學生時期，我因為對於學校的選課網站操作不太習慣，於是便自己寫了一個簡單的爬蟲程式，用來自動抓取課程資訊和教師評價。經整理後，我和朋友合作設計了一個使用者友...
Pandas 是 Python 生態系中，適合用來做資料分析或機器學習的套件，上一篇文章介紹 Pandas 中對新手相當友善的繪圖函數 plot( ) ，讓...
在茫茫數據海當中，資料散布在各種不同的地方，可能是資料庫、網站、文件等，為了要有效統一資料集，方便後續的分析和報告，資料合併的操作是不可不學的，以下將以案例...
"那個Timmy啊，廠商那邊又有多一組類型的資料，你再幫忙收一下""Jerry，資料好像有少喔，幫忙看一下是哪邊的問題，以後看到類...
團隊的合作方式從古至今總是不斷的演變當中，雖然工程師的歷史並沒有很長，但是變化卻十分快速。就像是網站工程師一般，過去也沒有這麼細分為前端禍後端，常常每個人都是全...
企業數位化轉型標志～數位化人才的身份認證 數位化人才認證標準——CDA（Certified Data Analyst）“CDA數據分析師”，是在數位經濟大背景和...
作為資料工程師，或說是負責處理資料工程的角色，我們需要具備什麼能力呢？其實從過去到現在的資料工程師的角色，隨著應用的不同以及工具的演變，資料工程師的角色默默的在...
上一篇文章中，介紹了 Pandas 中的 Series 結構，今天要和大家聊聊 Pandas 中最常使用的資料結構——DataFrame，其概念和操作都和...
在建立Data pipeline 時我們常會碰到類似的場景。這邊帶大家了解一些常見的Data pipeline 類型，我們在開發Data pipeline 的時...
嗨！大家好！我是Eva！一位正努力跨進資料科學領域的女子！這是我首次撰寫技術文章，也是第一次挑戰30天日更，希望能挑戰成功！第一篇文章，就讓我簡單介紹參賽動機、...
管線無所不在，雖然說日常生活中常常不會注意到其存在，但是卻對我們的生活影響非常大。舉例來說，在做裝潢時，就必須要把未來房屋的使用情景進行評估。並且需要針對屋主進...
前言 10年前學校教的 「資料探勘」 再到現在的 「數據分析」 已經慢慢朝向按照 產業專精 甚至最終 「數據科學 (人工智慧)」 ～ 其實總的來說對於數據的敏...
Python 中，除了 Matplotlib 適合用於資料視覺化之外，Seaborn 也是一個好用的函式庫，兩者經常會放在一起介紹或者使用，今天就和大家聊聊...
Excel 本身提供方便的樞紐分析，但你有想過用程式該如何撰寫嗎？今天就來分享一下 Pandas 中的樞紐分析：pivot_table( ) 一起透過交叉分...
在進行資料專案時，模型是基於數學設計的，有些資料型態不適合模型存取，為了提高數據的可用性和模型的處理，本文將以案例說明如何進行資料型態轉換，內容包含： 介...
繼續上一章資料處理 Python Pandas 好用的function - Part 1 #1. pd.to_datetime(df['Date']) /pd....
除了採用「刪除」的方式清理資料外，為確保數據的完整性，「填補」的操作也是另一種常見的方式，本文將說明資料清理中有關填補的操作方法，內容包含： 常數填補 統...
簡報時，我們常會聽到「用數字說話」這句話，面對主管、同事真的是講出每個數字就能讓聆聽者理解嗎？錯！大部分的人單看數字都容易眼花撩亂，想讓對方理解你的報告，圖...
VS Code 的使用者應該有發現 Pandas 的輸出結果有時並不是那麼好閱讀，對於一個有版面強迫症的我來說，曾經因為 DataFrame 歪掉的格式十分...
在前一天跟大家分享了 Data pipeline 的種類，在每種 Data pipeline 當中多半都有資料處理的步驟。實際上在各種資料應用的場景，從資料分析...
Eva
無聊工程師 bored_engineer
Papii
iThome鐵人賽
看影片追技術