技術 Day24：儲存最終數據並進行清理

今天我將集中於清理之前計算出的 RPKM 結果，並保存最終的基因表現數據，因為在進行生物學數據分析時，清理異常值是必不可少的步驟，這能夠幫助我確保結果的準確性。...

技術 Day23：準確計算基因的 RPKM 值

今天我要把之前計算出的 RPKM 值保存到 Excel 文件中，並進行驗證，以確保數據的正確性和完整性。 首先我將 RPKM 的計算結果與原始的基因數據（例如基...

技術 Day22：實際計算樣本的總讀數

今天的工作重點是確認並計算樣本的總讀數，這是 RPKM 算法中非常重要的一部分，總讀數是每個樣本中所有基因的讀數總和，它用來標準化基因的表現量，從而使不同樣本之...

技術 Day21：理解 RPKM 計算與數據準備

在基因表現量的分析中，RPKM（Reads Per Kilobase of transcript, per Million mapped reads）是用來標準...

技術 Day20：基因長度數據檢查與清理

今天我將要檢查和清理基因的長度數據。 在進行 RPKM 計算之前，確保基因長度數據的準確性非常重要，RPKM 計算依賴於基因的長度來進行標準化，因此我們需要確保...

技術 Day19：整理最終爬取的基因數據

今天我將集中精力整理之前爬取到的所有基因數據，並將他保存為最終結果文件，先前我已經成功抓取了每個基因的詳細頁面，並提取了基因的起始與結束位置，現在我需要將這些數...

技術 Day18：優化爬蟲性能與數據處理流程

今天的目標是進一步優化爬蟲性能，並簡化數據處理流程，我將對網絡請求的並發進行控制，確保在處理大量數據時系統不會過載，同時我對數據處理過程進行簡化，減少不必要的操...

技術 Day17：處理缺失值與異常數據

在數據處理的過程中，清理數據是非常重要的一步，今天我將著重於處理數據中的缺失值與異常數據，這些數據可能是由於爬蟲過程中的解析錯誤導致的，因此需要再進行進一步的分...

技術 Day16：儲存爬取的基因位置訊息

今天我將正式保存之前爬取和解析的基因位置訊息，並進行數據檢查，確保所有數據的完整性，這一步的目的是將整理後的基因位置訊息儲存到一個 Excel 文件中，並為後續...

技術 Day15：整合爬取的基因數據

今天的目標是將所有爬取到的基因數據整合到一個完整的 DataFrame 中，我已經成功爬取了每個基因的詳細頁面，並從中提取了基因的起始與結束位置；現在我需要將這...

技術 Day14：處理爬蟲過程中的異常情況

爬蟲過程中，網路波動或伺服器超時等等的情況是不可避免的，今天我將著重於如何在爬蟲過程中應對這些異常情況，並保證爬蟲的穩定性；通過加入錯誤處理機制，我可以在面對各...

技術 Day13：添加爬蟲日誌記錄與進度追蹤

今天的目標是為爬蟲過程添加日誌記錄和進度追蹤功能。 這些功能能夠幫助我在抓取大量數據時了解整體進度，並在出現錯誤時快速定位問題，原因是因為當處理成千上萬個基因數...

技術 Day12：優化爬蟲的性能與數據抓取效率

今天的任務是進一步優化爬蟲性能，特別是針對大規模數據抓取過程中的效率問題，因此我將對網路請求做一些改進，包括增加並發限制、處理網絡波動以及添加異常處理機制，從而...

技術 Day10：爬取網頁的基因訊息

今天我要從昨日定義之頁面中爬取基因的起始與結束位置，這些位置訊息會用來計算基因表現量，而在此我將使用 BeautifulSoup 來解析爬取到的 HTML 頁面...

技術 Day1：自我挑戰之前言與目標概述

哈囉~大家好~第一次參與 IT 鐵人賽，好緊張啊~ 挑戰目標 這次挑戰的核心是透過 Python 爬取基因相關資訊，並結合 RPKM（Reads Per Kil...