iT邦幫忙

pipeline相關文章
共有 21 則文章
鐵人賽 AI & Data DAY 17

技術 Day17 資料預處理-資料類型、缺失值、標準化、獨熱編碼、管道器

資料類型-數值型、類別型 數值型資料:以數值存在、能做數值運算的資料。如身高體重、年齡、收入……等。 類別型資料:用來描述事物的屬性或特徵。如性別、尺寸、地區...

鐵人賽 自我挑戰組 DAY 10

技術 Day 10 - 使用 Transformers (1)

在 Day5 的時候我們有提到 Hugging Face 的 Transformers 函式庫的一點介紹和例子,那這章會在深入它的相關使用和比較詳細的介紹。(裡...

技術 【Azure MLOps - 最終篇】END TO END CI/CD MLOPS

本系列最後一篇文章!在前面建立了一條CI pipeline和一條CD pipeline:(1) CI pipeline流程,負責上傳、註冊訓練資料到Azure...

技術 【Azure MLOps - 3】使用Azure DevOps建立訓練模型的CI pipeline(上)

在上一篇【Azure MLOps - 2】使用Azure DevOps建立專案與連線設定,做完:(1)在Azure DevOps建立專案(2)為了能讓DevOp...

技術 Jenkins pipeline 學習筆記

準備項目:1.全域設定很多文章都有說明2.Gitlab 套件安裝 開始步驟:步驟1:新增一個項目:輸入項目名稱(自取)步驟2:Jenkins pipeline...

鐵人賽 Modern Web DAY 29
angular專案開發指南 系列 第 29

技術 Gitlab自動化部署 - Pipeline

前言 GitLab Workflow內容包括,git 版本控制系統、CI/CD Pipeline,以及專案管理的功能,像 Wiki、Issue Tracking...

鐵人賽 DevOps DAY 30

技術 為 free5GC 導入 CI workflow

在先前的文章有稍微介紹過常見的 DevOps Tools,而本篇文章筆者會分享幫 free5GC 開源專案加入 CI pipeline 的實作! 進入正題 fr...

鐵人賽 自我挑戰組 DAY 22

技術 被MongoDB用Aggregate暴打的後端小菜雞日記-day22-那些年你不知道的Aggregate大小事

介紹20天的Aggregation Pipeline,基本上我把大部分的常用到的stages和operators都講解過一輪了,剩下少數沒介紹到的部分,主要是實...

鐵人賽 自我挑戰組 DAY 21

技術 被MongoDB用Aggregate暴打的後端小菜雞日記-day21-文字操作符

文字操作符其實有很多種類可以講,像是大小寫轉換、找特定字在文字中的位置、將字串合併等等,就讓我們一一做舉例。 首先假設我們有一些商品資料 { id: 1,...

鐵人賽 自我挑戰組 DAY 20

技術 被MongoDB用Aggregate暴打的後端小菜雞日記-day20-日期時間操作符(下)

今天延續昨天的主題,繼續講解日期時間相關操作符,但主要會專注在時區、時間資料格式的轉換部分。 昨天我們有講到$hour這類的操作符,可以幫助我們取得特定的單位日...

鐵人賽 自我挑戰組 DAY 19

技術 被MongoDB用Aggregate暴打的後端小菜雞日記-day19-日期時間操作符(上)

結束連續三天陣列操作符的介紹,讓我們往下一個主題邁進,介紹日期時間相關的操作符,今天主要專注在取得一個日期資料中,它的年份、月份...等等相關的操作。 以一個日...

鐵人賽 自我挑戰組 DAY 18

技術 被MongoDB用Aggregate暴打的後端小菜雞日記-day18-陣列操作符(下)

今天是最後一天介紹陣列操作符,當初在查資料的時候,完全沒有想到這個主題可以寫三天,但事實上我只有拉出,我比較有興趣的操作符來說明。 被我跳過的操作符,例如:...

鐵人賽 自我挑戰組 DAY 17

技術 被MongoDB用Aggregate暴打的後端小菜雞日記-day17-陣列操作符(中)

今天繼續昨天的主題,講解陣列操作符的部分,比較不一樣的是今天用來舉例的陣列資料,會比昨天在複雜一點,同時也會用比較多不一樣的範例,來講解不同的的與法,因為每種語...

鐵人賽 自我挑戰組 DAY 16

技術 被MongoDB用Aggregate暴打的後端小菜雞日記-day16-陣列操作符(上)

接下來幾天,都會專注在各個資料型態相關的操作符,包含陣列、日期時間、文字,介紹有什麼好用的功能,今天先從陣列開始。 因為自己本身是寫JavaScript,看官方...

鐵人賽 自我挑戰組 DAY 15

技術 被MongoDB用Aggregate暴打的後端小菜雞日記-day15-$merge 將資料寫回資料庫

當你好不容易寫好一連串的aggregate,想要將整理好的資料寫回資料庫內,這時候就可以使用$merge將資料寫入,使用上必須特別注意,一定要放在pipelin...

鐵人賽 自我挑戰組 DAY 14

技術 被MongoDB用Aggregate暴打的後端小菜雞日記-day14-$facet 一次使用多個pipeline

看了這麽多天的文章,是否覺得aggregate用來搜尋資料真的很好用,其實它另一個很神奇的用法$facet,可以讓你使用同一個collection的資料,但是分...

鐵人賽 自我挑戰組 DAY 13

技術 被MongoDB用Aggregate暴打的後端小菜雞日記-day13-$bucket 桶子分組

今天要來介紹aggregate比較進階的用法$bucket,這個操作符它的用法很類似$group,都是可以將資料透過特定欄位進行分組。 不同的地方在於$grou...

鐵人賽 自我挑戰組 DAY 11

技術 被MongoDB用Aggregate暴打的後端小菜雞日記-day11- 用$sample、$rand隨機取得資料

前面十天介紹不少aggregate用法,以簡單的小型專案來說,這些操作符基本上都夠用,熟練之後如果有接到其他特別的需求,其實自己再去MongoDB官網上找其他的...

鐵人賽 Elastic Stack on Cloud DAY 18

技術 喬叔教 Elastic - 18 - Elastic Cloud 比免費版還多的功能 (3/6) - Centralized Pipeline Management

Elastic Cloud 比免費版還多的功能 系列文章索引 (1/6) Elastic Stack 的方案比較與銷售方式 (2/6) Centrali...

鐵人賽 AI & Data DAY 29

技術 【Day 28】Item Pipelines 應用 - 儲存資料到 MongoDB

延續昨天的主題,今天要建立一個 Pipeline 元件,用來將爬到的資料存到 MongoDB 中。 建立 Pipeline 元件 在專案目錄的 pipeline...

鐵人賽 AI & Data DAY 28

技術 【Day 27】在 Scrapy 中處理爬取結果 - Item Pipelines

當 scrapy.Spider 爬蟲抓到資料後,會將資料送往 Item Pipelines 進行一系列的處理。常見的使用情境是: 清理 HTML 資料 驗證資...