iT邦幫忙

大數據相關文章
共有 74 則文章

技術 使用機器學習的挑戰

演算法和人類之間的差別在於,如果將相同的資料輸入到演算法中兩次,最後會得到相同的答案,但人類並非如此。 如果歸檔資料是紀錄我們的過去,大數據是同步分析我們的現在...

技術 使用BigQuery來分析GCP費用

雲端的各項計費會比我們在地端機房的項目計費要複雜得多,原因是因為地端機房的設備都是看得到,摸得見的。即使是軟體採購該項軟體也會有資產編號。所以對IT人員來說分析...

技術 企業的數位轉型-Part5大數據

隨著電腦處理速度與儲存能力的增加,處理與儲存大量的資料急已經成為事實。對大數據的大部分討論都集中在這種資料增長的重要性上,但這只是整個故事的一部分。 在企業的數...

技術 AWS的大數據分析 — Part5 數據安全

我在前面的Part 1 — Part 4介紹了AWS大數據的資料擷取,資料處理與分析,最後資料視覺化。然而若沒有好的資料安全防護,我們的核心資料就會有外洩的狀況...

技術 AWS的大數據分析-Part 4資料視覺化

我們從Part 1 — Part 3介紹了資料在AWS平台服務中的的 ingest, store, process與 analyze,最後我們需要將這些資料視覺...

技術 AWS的大數據分析-part 3資料處理與分析

本篇文章我們將介紹如何處理與分析儲存在AWS 裡的資料。資料處理最重要的階段是資料流水線(data pipeline)與分析流水線( analytics pip...

技術 AWS的大數據分析 — Part2 資料儲存

我們在Part 1提到AWS的大數據分析中會分為四個資料的收集,處理,儲存與分析。在收集,處理,分析階段都必需要從儲存的地方提取資料才能接下來後續的作業。 本篇...

技術 企業的數位轉型 — Part3 加速的資訊時代

CEO們和其他高階領導者需要比過去更詳細地了解推動當今數位轉型的技術。 這是為什麼呢? 與之前的技術浪潮相比,我們已經看到數位轉型涉及組織如何運作和做什麼的核心...

技術 AWS的大數據分析-Part 1資料收集

這是一個數位化的世界。隨著越來越多數位設備的使用,大量的資料也隨之產生,而這麼多的原始資料就需要進行整理、分析、產生新的洞見,資料才會變成資訊,進而促使我們行動...

技術 機器學習模型的量測/監控與故障排除

這一篇我們會將焦點放在機器學習(後面簡稱ML)的概念上。如ML的一些術語與核心概念。ML是一門廣泛的學科在不同的領域在有著不同的應用。在這裡我們是從High L...

技術 部署Google Cloud的機器學習流水線

關於GCP 機器學習(後面會簡稱ML)的pipeline部署分為好幾個階段。從data ingestion/preparation再到根據訓練出來的模型來做da...

技術 Google Cloud的資料靈活性與可攜性

這一篇我們介紹Data Catalog(一種metadata 的管理服務)可以搜尋與管理在你的Google Cloud裡所有的資料。同時我們也會介紹DataPr...

技術 Google Cloud的資料安全與合規性

這一篇我們針對GCP上的資料安全與合規性介紹幾個關鍵的議題。例如GCP的IAM服務,資料加密與加密金鑰的管理還有DLP(data loss prevention...

技術 建置與維運GCP資料處理的Infrastructure

這一篇我們會介紹GCP託管的資料處理(運算資料)的服務,例如App engine, Cloud Functions, Dataflow. 如何使用GCP的監控機...

技術 Google Cloud 資料處理解決方案介紹

這一篇我們介紹如何運用GCP的infrastructure實現data engineering與機器學習,例如根據你的業務需求選擇適當的compute serv...

技術 設計Google Cloud的Data pipeline

這一篇我們會從設計模式的角度來看Data pipeline,外加一些其他不一樣的可供選擇的設計模式。同時我們也會介紹GCP有關於data pipeline服務,...

技術 建置與管理Google Cloud的儲存服務

這一篇我們介紹如何部署股哥的storage system與在這些系統上的資料運作,例如資料的匯出/匯入,設定存取控制,效能調較等。包含了Cloud SQL, C...

技術 Google Cloud的儲存服務介紹

這一篇我們會介紹根據你的業務需求來選擇適合的GCP的儲存服務。同時也介紹甚麼是結構化/半結構化/非結構化的資料模型;與設計SQL與NoSQL Database...

技術 低延遲更靈活,開發者怎麼能不愛分散式雲?

為了努力部署和管理複雜的資料密集型應用程序,從而滿足客戶不斷變化的需求,我們需要一種方法來讓這些應用程式和工作負載更接近位於全球任意一個角落的客戶。 過去多年來...

鐵人賽 AI & Data DAY 2

技術 Day02 - 初探大數據

大數據 4V 昨天的文章中有提到,高中時的我覺得大數據就是非常大量的數據,這想法不完全錯,但也不完整,當時的我只關注了數據量 (Volume),事實上,大數據有...

鐵人賽 AI & Data DAY 1

技術 Day01 - 這裡數據好多,我好害怕

參賽動機 還記得本人高中的時候大數據這個詞很夯,那個時候根本不清楚大數據是什麼,只覺得把一大堆數據蒐集起來就叫做大數據吧,具體能拿來幹嘛其實也不太清楚;隨著A...

徵才 臺灣證券交易所 辦理「111年新進人員招募」10月3日至10月24日受理報名!動作要快!!

臺灣證券交易所 辦理「111年新進人員招募」10月3日至10月24日受理報名!動作要快!!https://examweb.sfi.org.tw/twse2022...

鐵人賽 AI & Data DAY 15

技術 淺談數位化

人的科技文明發展始終來自於人性 在疫情爆發之後的過程當中,世界和社會產生了巨大的變化,為了要減少人與人之間的接觸,及可以有效的控制疫情,整個世界乃至於社會,無不...

徵才 【徵才】【知名 ICT(信息與通信)】Market Development Manager

知名 ICT(信息與通信)公司在全球擁有 6 大研發中心、59 個分支機構、7000 多名員工,10000 多家合作夥伴,業務遍及 50 多個國家和地區,年銷售...

徵才 【徵才】【知名 ICT(信息與通信)】Solutions Manager

知名 ICT(信息與通信)公司在全球擁有 6 大研發中心、59 個分支機構、7000 多名員工,10000 多家合作夥伴,業務遍及 50 多個國家和地區,年銷售...

鐵人賽 影片教學 DAY 30

技術 [Day-30] R語言 - 分群總結與感言 ( Clustering Summary )

您的訂閱是我製作影片的動力訂閱點這裡~ 若內容有誤,還請留言指正,謝謝您的指教

鐵人賽 AI & Data DAY 16

技術 未來狂想:工業製造

人的科技文明發展始終來自於人性在現階段的科技發展和工業發展當中,人們的技術和水平越來越好,而且也有越來越多的應用及發明誕生,在這一系列的過程之中,我們可以發現到...

鐵人賽 AI & Data DAY 15

技術 未來狂想:工業技術發展

人的科技文明發展始終來自於人性伴隨著整體世界的技術進步與科技的發展,人們的生活越來越便利且越來越舒適,在這樣的情況之下所有的活動都不得不依賴科技技術的幫助,隨著...

鐵人賽 AI & Data DAY 11

技術 未來狂想:運輸領域

人的科技文明發展始終來自於人性在科技發展發達的現今,各式各樣的技術成熟,在很多的領域都可以發現各種技術和科技的應用,隨著網際網路和資通訊的發達,不論是網路設備還...

鐵人賽 AI & Data DAY 10

技術 未來狂想:交通物流

人的科技文明發展始終來自於人性在現今的科技發展之下,所有的技術日新月異、推陳出新,所有的科技不斷的進步,也帶給世界很多的革命性發展,從網路的革新,到網路網路的發...