iT邦幫忙

2018 iT 邦幫忙鐵人賽
DAY 30
3
Data Technology

你都在公司都在幹啥R? R語言資料分析經驗分享系列 第 30

【30】當老闆...沒 我下班了 總整理與資料分析未來方向篇

呼!終於來到了最後一天,今天想聊一些比較和技術沒有關係的東西,先來説說為什麼會來寫這一系列的文章。

背景

我大學畢業於通訊工程學系,但是在大學期間點的技能都是偏資工類,當時的寫程式的想法很簡單,只要有辦法做出網站或寫出應用程式就是個及格的工程師,但這樣的想法在出了社會後,很快的就發現這樣的想法很幼稚,身為一個技術人,你必須在不斷改變的環境下,持續學習精進自己的實力,熬夜寫程式、聽線上課程、參加研討會等,學的東西越多越深,就更發現自己不懂的東西好多,自己以前的程式碼髒亂難讀...

關於R

我第一次寫R 是在替代役後期間利用休假時間上線上課程學的,但是後來找了第一份工作後,應徵的是Mobile App開發而沒碰,近幾年來機器學習興起,公司專案也告了一段落,所以我主動向老闆提說我想嘗試資料分析領域,老闆同意後,我開始利用下班時間重新學起R,現在翻翻之前的程式碼還真發現當時寫的程式碼真亂,在我會用dplyr前,我過濾資料的方式是這樣寫的...

orders <- subset(orders, NAME != "something A")
orders <- subset(orders, NAME != "something B")
orders <- subset(orders, AMOUNT > 1)
orders <- subset(orders, PRICE > 300) 

後來認真理解了dplyr 之後,才發現超好用,這也是為什麼我前面幾天的介紹會是dplyr。

關於資料科學

這幾年機器學習的興起,讓很多對人工智慧有著很多的期待,我自己也搭著這股浪潮去學,但是我發現多數的機器學習框架都是前人鋪好路,你只要調控參數不必很理解底層就可以得到結果,這樣看似很方便,但其實我們似乎都忽略了原理...,也因此我也慢慢地在補大學時,沒有很認真在學的數學相關課程(線性代數、機率統計),期許自己能成為一位真正的資料科學家。

以下是我學過有關機器學習線上課程的地方

https://ithelp.ithome.com.tw/upload/images/20180116/201072993QrzOxhUm0.png
交大線上課程是個很好磨練基本數學的地方。

https://ithelp.ithome.com.tw/upload/images/20180116/20107299RoU31F1CR6.png
Udemy 常常也一堆300台幣的課,也是不錯的資源。

https://ithelp.ithome.com.tw/upload/images/20180116/20107299cZYbXbIL5j.png
Coursera 的機器學習課程很好上手,很推薦初學者學習。

關於鐵人賽

我得說...連續30天都寫技術文章真的是超難的...當下班回家後,得趕快把未完成的程式碼寫好commit,然後打開ithome 寫文章,因為不想欠債,所以每天硬逼自己一定要寫完,中間經過跨年時更是煎熬XD,不過現在寫完後,真有種不敢相信自己辦到了的感覺啊!

https://ithelp.ithome.com.tw/upload/images/20180116/20107299wgmZks2e8o.png
滿滿的30天commit....

30天大雜燴

【01】前言、先備技能需求以及環境介紹

dplyr系列:
【02】當老闆想問:話說我們的會員註冊情況如何時?
【03】當老闆再問:嗯...話說我們已註冊的會員中有多少人有消費過的?
【04】當老闆想問:話說...經營至今,我們的每個月的營收狀況如何啊?
【05】當老闆說了:喔喔喔!那這些月營收之中,又是哪些東西賣的最好啊?
【06】當老闆問說:嗯...營收最好的是掌上型電玩啊,那第二、第三名呢?能畫個圖嗎?
【07】當老闆發問:OK,現在加幾個條件,請問公司營收最高的三個月中,而且用信用卡付款中的訂單,賣最好的是哪些種類的商品呢?
【08】當老闆想知道:啊,來個回饋活動好了,你幫我拉出今年五月購買生活家電且消費滿450以上的消費者聯絡資訊給我
【09】當老闆提到:我很好奇,在有購買記錄的使用者中,買的商品種類有沒有什麼特徵呢?
【10】當老闆問說:嗯...你只不過是改變資料結構而已,說好的分析呢?

下載外部檔案系列:
【11】當老闆想瞭解:我最近對台灣農產品有興趣,你可以幫我抓個資料分析嗎?
【12】當老闆想更瞭解:除了抓當天的農產品行情價以外,有沒有辦法抓更早之前的價格啊?
【13】當老闆很想瞭解:既然現在有了這些農產品行情資料,那你可以幫我找今年一月中,平均上價高於200且交易量前幾名的作物是哪些嗎?

地址分析篇:
【14】當老闆突然問:對了,有沒有什麼辦法可以分析地址啊?可以顯示在地圖上的那種。
【15】當老闆突然又問:你畫的地點都是用經緯度座標畫的,可是我們會員資料庫存的是地址啊,你可以用地址在地圖上畫點嗎?
【16】當老闆突然再問:很好,現在地址很明瞭了,但是我想把在附近的地址當成一組做分群,這有辦法嗎?
【17】當老闆突然再再問:喔喔,地址切開是切開了,但是這個k 值我設多少會有差嗎?
【18】當老闆突然再再再問:蛤..k值好麻煩喔,那你有什麼辦法可以解決地址分類太細或太廣的問題?
【19】當老闆突然(再)^4問:用了多次k-means 後真的有比較好嗎?說說看啊!

shiny篇:
【20】當老闆嘟著嘴問:前面幾天你展示了很多資料分析手法,但是公司很多人不會寫程試,你有辦法嗎?
【21】當老闆眼睛blink blink地問:哦?這看起來很方便,那我們公司的資料怎麼在shiny 上呈現?
【22】當老闆疑惑地問:所以我可以在這個網頁調整參數,那有哪些參數可以調?
【23】當老闆興奮地說:那太好了,就先來一個可以互動的表格當作示範吧!
【24】當老闆想了想問:可是有時候資料是分段處理的,這時候該怎麼使用shiny 處理呢?
【25】當老闆扎了兩下眼問:那我們手邊資料有什麼情境適合這樣分段處理的嗎?
【26】當老闆扎了三下眼問:那可以直接在shiny 上顯示k-means 分類後的地圖嗎?
【27】當行銷人員傻眼問:呃...工程師大大,為什麼按了取經緯度按鈕後程式好像就當掉了?
【28】當行銷人員仍不滿足地問:之前也有很多分析,這些也可以全部放到一個shiny上嗎?
【29】當老闆還是有問題的問:嗯嗯嗯!那我想問,如果我另外一台電腦也想使用shiny 來整理資料,他也要設定環境那些嗎?


上一篇
【29】當老闆還是有問題的問:嗯嗯嗯!那我想問,如果我另外一台電腦也想使用shiny 來整理資料,他也要設定環境那些嗎?
系列文
你都在公司都在幹啥R? R語言資料分析經驗分享30

1 則留言

0
sam989798
iT邦新手 5 級 ‧ 2018-12-18 22:29:17

看完之後....好文必須推

我要留言

立即登入留言